文献

J-GLOBAL ID：202202227692439083   整理番号：22A1163886

SBSim:インド語ニューラル機械翻訳システムのための文-BERT類似性ベース評価メトリック【JST・京大機械翻訳】

SBSim: A Sentence-BERT Similarity-Based Evaluation Metric for Indian Language Neural Machine Translation Systems

著者 (3件)： Mrinalini K. (Sri Sivasubramaniya Nadar College of Engineering, Chennai, Tamil Nadu, India) ,  P Vijayalakshmi (Sri Sivasubramaniya Nadar College of Engineering, Chennai, Tamil Nadu, India) ,  Thangavelu Nagarajan (Shiv Nadar University, Chennai, Tamil Nadu, India)
資料名： IEEE/ACM Transactions on Audio, Speech, and Language Processing  (IEEE/ACM Transactions on Audio, Speech, and Language Processing)
巻： 30  ページ： 1396-1406  発行年： 2022年 
JST資料番号： W0508B  ISSN： 2329-9290  CODEN： ITASFA  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 機械翻訳(MT)出力は自動評価尺度と人間評価スコアを用いて広く記録されている。自動評価尺度は,容易に計算可能であり,人間評価の反映であると予想される。BLEU,ChrF++スコアのような従来のストリングベースのメトリックスはMTシステムを評価するために広く用いられているが,パラフレーゼを評価することができないため,最先端のニューラルマシン翻訳(NMT)システムに現れる同義語を説明できなかった。Yisi,BERTScoreのような類似性ベースのメトリックスはこの問題を扱うが,これらのメトリックスはTamilやHindiのような形態学的に豊富なインド言語をよりよく評価するために修正する必要がある。本研究では,NMT出力を評価するために,パラフレーサ-BERTモデルおよび文章レベル埋込みを利用する,新規で個々の文章-BERTベース類似性(SBSim)メトリックを提案した。BLEU,ChrF++,Yisi,BERTSコア,および提案したSBSimの有効性を,英語からTamilおよび英語からHindi NMT出力で評価した。人間のスコアに関して提案したSBSim計量の文章レベルメトリック相関は,英語からTamilおよび英語からHindi NMTシステムに対して,それぞれ,0.9123および0.9052の相関関係で,既存のメトリックより優れていることが観察された。さらに,SBSimメトリックの平均メトリック相関も,これらのNMTシステムに対して,それぞれ0.9801と0.9836の値で最大であることが観察された。また,提案した計量をWMT2020データセットで評価し,0.7129とヒトスコアとの最高相関を報告した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *機械翻訳 ,  言語 ,  評価 ,  ヒト ,  インド ,  英語 ,  同義語 ,  類似性 ,  有効性 ,  評価基準 ,  指標 ,  モルフォロジー
準シソーラス用語： MTS法 ,  メトリックス ,  評価尺度 ,  *ホップ数 ,  ニューラル機械翻訳 , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (7件)： インド ,  ニューラル機械翻訳 ,  文 ,  BERT ,  類似性 ,  評価 ,  メトリック