最小Bayesリスク復号化による機械翻訳メトリックスにおける弱点の同定:COMETのための事例研究【JST・京大機械翻訳】

Amrhein Chantal; Sennrich Rico

プレプリント

J-GLOBAL ID：202202219032554888 整理番号：22P0287760

最小Bayesリスク復号化による機械翻訳メトリックスにおける弱点の同定:COMETのための事例研究【JST・京大機械翻訳】

Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月10日プレプリントサーバーでの情報更新日： 2022年09月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルメトリックスは,機械翻訳システムの評価において人間の判断と印象的な相関を達成したが,そのようなメトリックに向けて安全に最適化できる前に,高いスコアを受ける悪い翻訳に向けて(および理想的に)バイアスを認識すべきである。著者らの実験は,サンプルベースの最小Bayesリスク復号化がそのような弱点の探索と定量化に使用できることを示した。en-deおよびde-enのCOMETにこの戦略を適用するとき,COMETモデルは数および名前のエンティティの不一致に十分に敏感ではないことを見出した。さらに,これらのバイアスは,追加の合成データを単純に訓練し,著者らのコードとデータを放出し,さらなる実験を容易にするために,完全に除去することが困難であることを示した。【JST・京大機械翻訳】

, , , , ,
, , 【Automatic Indexing@JST】

自然語処理 , 人工知能 , リモートセンシング一般 , 植物生理学一般

, , , , ,

前のページに戻る