自然言語生成のための説明可能な評価メトリックスに向けて【JST・京大機械翻訳】

Leiter Christoph; Lertvittayakumjorn Piyawat; Fomicheva Marina; Zhao Wei; Gao Yang; Eger Steffen

プレプリント

J-GLOBAL ID：202202204919720548 整理番号：22P0307781

自然言語生成のための説明可能な評価メトリックスに向けて【JST・京大機械翻訳】

Towards Explainable Evaluation Metrics for Natural Language Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月21日プレプリントサーバーでの情報更新日： 2022年03月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

BLEUのような古典的語彙オーバラップメトリックと異なり,ほとんどの現在の評価メトリック(BERTSコアまたはMoverScoreのような)は,BERTまたはXLM-Rのようなブラックボックス言語モデルに基づいている。それらはしばしば人間の判断と強い相関を成し遂げるが,最近の研究は,低品質の古典的計量が主要なままであり,それらの決定過程が透明である可能性の理由の1つであることを示している。新しい高品質計量のより広範な受容を促進するために,説明可能性はこのように重要である。この概念論文では,重要な特性を同定し,説明可能な機械翻訳評価メトリックの重要な目標を提案した。また,説明可能な機械翻訳計量のための最近のアプローチに関する合成概要を提供し,それらがそれらの目標と特性にどのように関係するかについて議論する。さらに,著者らは,現在の敵対的NLP技術が,それらが意味保存でないので,高品質ブラックボックス評価メトリックの限界を自動的に同定するのに不適当であることを発見した。最後に,著者らは,説明可能な評価尺度とそれらの評価を説明する将来のアプローチのビジョンを提供した。本研究が,説明可能な評価尺度に関する将来の研究を触媒し,ガイドするのを助け,また,さらに,より良くより透明なテキスト生成システムに寄与することを期待する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

図形・画像処理一般 , 自然語処理

, , ,

前のページに戻る