BERTベース評価メトリックスのための再現性問題【JST・京大機械翻訳】

Chen Yanran; Belouadi Jonas; Eger Steffen

プレプリント

J-GLOBAL ID：202202209924921782 整理番号：22P0323501

BERTベース評価メトリックスのための再現性問題【JST・京大機械翻訳】

Reproducibility Issues for BERT-based Evaluation Metrics

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2022年10月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

再現性は機械学習と自然言語処理(NLP)において最も懸念される。自然言語生成(特に機械翻訳)の分野において,Post(2018)の精力論文は,出版の時間において,優性計量,BLEUの再現性の問題を指摘した。今日,BERTベースの評価計量はBLEUをかなり凌駕する。本論文では,4つの最近のBERTベースの計量からの結果および請求が再現できるかどうかを主張した。請求と結果の再現は,(i)計量,(ii)欠測コード,および(iii)ベースライン計量に対するより弱い結果の報告を含む(i)重い非文書化前処理のため,しばしば失敗することを発見した。(iv)1例において,問題は人間スコアと相関しないが,csvファイルでは誤ったカラム,スコアを5点まで広げる。前処理の影響によって動機づけられて,著者らは次に,著者らは,より密接にその効果(計量の1つ)を調べる2番目の研究を行う。前処理が,特に高変曲言語に対して大きな効果を持つことを見出した。この場合,前処理の効果は,凝集機構(例えば, greedy欲配列対Word Mover距離)の効果よりも大きい可能性がある。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , 人工知能

, , ,

前のページに戻る