変圧器ベースのニューラル機械翻訳のための信頼性の学習【JST・京大機械翻訳】

Lu Yu; Zeng Jiali; Zhang Jiajun; Wu Shuangzhi; Li Mu

プレプリント

J-GLOBAL ID：202202215728214490 整理番号：22P0308063

変圧器ベースのニューラル機械翻訳のための信頼性の学習【JST・京大機械翻訳】

Learning Confidence for Transformer-based Neural Machine Translation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月21日プレプリントサーバーでの情報更新日： 2022年03月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

信頼性推定は,モデル予測の信頼度を定量化し,成功の期待を提供することを目的とする。十分に較正された信頼推定は,実世界設定における雑音のあるサンプルと分布外データを与えるとき,正確な故障予測と適切なリスク測定を可能にする。しかし,このタスクは,ソフトマックス分布からの確率がおそらく誤りがあるときは記述できない,神経機械翻訳(NMT)のための厳しい挑戦である。この問題に対処するために,NMTモデルの訓練と共同して教師なし信頼推定学習を提案した。NMTモデルがどのように正しい予測を行うか,そして,より多くのヒントが,低い信頼性を示すので,信頼性を説明する。特に,NMTモデルは,いくつかのわずかなペナルティのコストで翻訳精度を改善するために,ヒントのためのオプションを与える。次に,著者らは,モデル利用の数を数えることによって,それらの信頼レベルを近似した。学習された信頼推定は,広範囲な文章/語レベル品質評価タスクにおいて高精度を達成することを実証した。分析結果は,著者らの信頼推定が,2つの実世界シナリオにおける根底にあるリスクを正しく評価できることを検証した。1)ノイズのあるサンプルの発見,2)ドメイン外データの検出。さらに,標準ラベル平滑化を凌駕する学習信頼推定に基づく新しい信頼ベースインスタンス固有ラベル平滑化手法を提案した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

自然語処理 , 人工知能

, ,

前のページに戻る