回顧と前進:ニューラル機械翻訳のための双方向復号器による自己知識蒸留【JST・京大機械翻訳】

Zhang Xuanwei; Shen Libin; Pan Disheng; Wang Liang; Miao Yanjun

プレプリント

J-GLOBAL ID：202202218828961560 整理番号：22P0301898

回顧と前進:ニューラル機械翻訳のための双方向復号器による自己知識蒸留【JST・京大機械翻訳】

Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年03月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルマシン翻訳(NMT)モデルは,通常,1ステップ先予測の最適化に対応する一方向復号器を介して訓練される。しかしながら,この種の一方向復号化フレームワークは,大域的コヒーレンスよりむしろ局所構造に焦点を合わせるのに傾斜する。この問題を軽減するために,著者らは,ニューラルマシン翻訳(SBD-NMT)のための双方向デコーダによる自己知識蒸留の新しい方法を提案した。前方復号器に対する効果的な正則化法として作用する後方復号器を展開した。長期未来に関する後方復号器の情報を活用することにより,後方復号器で学習された知識の蒸留は,自己回帰NMTモデルを前方に計画するのを奨励できる。実験は,著者らの方法が多重機械翻訳データセットに関する強い変換基準線より顕著に良いことを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理

, , , , ,

前のページに戻る