構造的知識蒸留:構造化予測子のための扱いやすい蒸留情報【JST・京大機械翻訳】

Wang Xinyu; Jiang Yong; Yan Zhaohui; Jia Zixia; Bach Nguyen; Wang Tao; Huang Zhongqiang; Huang Fei; Tu Kewei

プレプリント

J-GLOBAL ID：202202211443370760 整理番号：21P0053521

構造的知識蒸留:構造化予測子のための扱いやすい蒸留情報【JST・京大機械翻訳】

Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (9件)： , , , , , , , ,
資料名：
発行年： 2020年10月10日プレプリントサーバーでの情報更新日： 2021年06月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

知識蒸留は,モデル間の知識を移動させるための重要な技術であり,典型的には,大きなモデル(教師)からより微細粒のもの(学生)である。知識蒸留の目的関数は,典型的には教師と学生の出力分布の間の交差エントロピーである。しかし,構造化予測問題のために,出力空間は,サイズにおいて指数関数的であった。したがって,交差エントロピー目的は,直接計算および最適化に難題になる。本論文では,教師と学生モデルの多くの典型的な選択に対して扱いやすい構造化予測のための知識蒸留目的の因数化形式を導いた。特に,4つの異なるシナリオの下で配列ラベリングと依存性構文解析モデルの間の構造知識蒸留の扱いやすさと経験的有効性を示した。1)教師と学生は,出力構造スコアリング関数の同じ因数化形式を共有する。2)学生の因数化は,教師の因数分解よりも,より細粒の下部構造を生成する。3)教師の因数分解が,学生の因数分解よりもより細粒の下部構造を生成する。4)教師と学生からの因数化形式は不適合である。【JST・京大機械翻訳】

, , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , CAI

, , ,

前のページに戻る