ビーム探索復号化におけるラベル平滑化の陰的長さBias【JST・京大機械翻訳】

Liang Bowen; Wang Pidong; Cao Yuan

プレプリント

J-GLOBAL ID：202202212575629573 整理番号：22P0341848

ビーム探索復号化におけるラベル平滑化の陰的長さBias【JST・京大機械翻訳】

The Implicit Length Bias of Label Smoothing on Beam Search Decoding

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年05月02日プレプリントサーバーでの情報更新日： 2022年05月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ラベル平滑化は,ニューラルマシン翻訳(NMT)訓練に普遍的に適用される。ラベル平滑化はモデル訓練中に望ましい正則化効果を提供するが,本論文では,ビーム探索復号化手順における長さバイアスを導入することを示した。本解析は,ラベル平滑化が,出力シーケンスに長さペナルティ項を暗黙的に適用し,より短い翻訳に向けてバイアスを引き起こすことを示した。また,ラベル平滑化により完全に最適化されたモデルに対して,翻訳長は入力に依存しない固定定数によって陰的に上限されることも示した。ラベル平滑化モデル予測から不偏分布を回復するための推論時間で簡単な整流関数を適用することにより理論を検証した。この修正法は,ビームサイズ4で+0.3BLEU,ビームサイズ200で+2.8BLEUまで,WMT英語-German,英語-French,英語-Czechおよび英語-中国語タスクの一貫した品質改善をもたらした。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理

, , ,

前のページに戻る