RoMe:自然言語生成を評価するためのロバストな計量【JST・京大機械翻訳】

Rony Md Rashad Al Hasan; Kovriguina Liubov; Chaudhuri Debanjan; Usbeck Ricardo; Lehmann Jens

プレプリント

J-GLOBAL ID：202202216632322990 整理番号：22P0305833

RoMe:自然言語生成を評価するためのロバストな計量【JST・京大機械翻訳】

RoMe: A Robust Metric for Evaluating Natural Language Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月17日プレプリントサーバーでの情報更新日： 2022年03月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語生成(NLG)システムの評価は,挑戦的なタスクである。第1に,計量は,生成された仮説が基準の意味論を反映することを保証すべきである。第2に,生成された文の文学品質を考慮するべきである。第3に,生成された文章の様々な表面形状を取り扱うのに十分なロバスト性がある。したがって,有効な評価計量は多面的にしなければならない。本論文では,自然言語理解(言語能力,構文および意味変化)のいくつかのコア側面を組み込んだ自動評価メトリックを提案した。提案メトリック(RoMe)は,生成された文章の全体的品質を評価するために,自己教師付きニューラルネットワークを用いて,ツリー編集距離および文法受容性と組み合わせた意味類似性のような言語特徴上で訓練された。さらに,最先端の方法とRoMeの広範囲なロバスト性解析を行った。経験的結果は,RoMeが,いくつかのNLGタスクを通して,システム生成文の評価において,最先端の計量に対する人間判断とより強い相関を持つことを示唆する。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

自然語処理

, , ,

前のページに戻る