効率的な部分構造知識蒸留【JST・京大機械翻訳】

Lin Wenye; Li Yangming; Liu Lemao; Shi Shuming; Zheng Hai-tao

プレプリント

J-GLOBAL ID：202202217404191784 整理番号：22P0301475

効率的な部分構造知識蒸留【JST・京大機械翻訳】

Efficient Sub-structured Knowledge Distillation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2022年03月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

構造化予測モデルは,出力が単一変数よりむしろ複雑な構造である一種の問題を解決することを目的とする。そのようなモデルに対する知識蒸留の実施は,それらの指数的に大きな出力空間のために自明ではない。本研究では,既存の手法よりも,その定式化においてはるかに簡単で,訓練に対してはるかに効率的である手法を提案した。特に,全出力空間の代わりに,すべてのサブ構造に関するそれらの予測を局所的にマッチングすることにより,教師モデルからその学生モデルへの知識を転送する。このようにして,著者らは,並列計算を可能にし,訓練プロセスを実践でより速くする,復号化出力構造のための動的計画法(DP)のような,いくつかの時間消費技術を採用することを避ける。そのうえ,それは教師モデルの内部挙動をより良く模倣する学生モデルを奨励する。2つの構造化予測タスクに関する実験は,著者らのアプローチが以前の方法より優れて,1つの訓練時期のために時間コストを半分にすることを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , 【Automatic Indexing@JST】

自然語処理

前のページに戻る