文献

J-GLOBAL ID：201702228265407282   整理番号：17A0017961

言語横断質問応答に適した機械翻訳評価尺度の調査

An Investigation of Machine Translation Evaluation Metrics in Cross-lingual Question Answering

著者 (6件)： 杉山享志朗 (奈良先端科学技術大学院大) ,  水上雅博 (奈良先端科学技術大学院大) ,  NEUBIG Graham (奈良先端科学技術大学院大) ,  吉野幸一郎 (奈良先端科学技術大学院大) ,  鈴木優 (奈良先端科学技術大学院大) ,  中村哲 (奈良先端科学技術大学院大)
資料名： 自然言語処理  (Journal of Natural Language Processing)
巻： 23  号： 5  ページ： 437-461  発行年： 2016年12月15日 
JST資料番号： L3934A  ISSN： 1340-7619  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 質問応答システムが高い精度で幅広い質問に解答するためには,大規模な知識ベースが必要である。しかし,整備されている知識ベースの規模は言語により異なり,小規模の知識ベースしか持たない言語で高精度な質問応答を行うためには,機械翻訳を用いて異なる言語の大規模知識ベースを利用して言語横断質問応答を行う必要がある。ところが,このようなシステムでは機械翻訳システムの翻訳精度が質問応答の精度に影響を与える。一般的に,機械翻訳システムは人間が与える評価と相関を持つ評価尺度により精度が評価されている。そのため,この評価尺度による評価値が高くなるように機械翻訳システムは最適化されている。しかし,質問応答に適した翻訳結果は,人間にとって良い翻訳結果と同一とは限らない。つまり,質問応答システムに適した翻訳システムの評価尺度は,人間の直感に相関する評価尺度とは必ずしも合致しないと考えた。そこで本論文では,複数の翻訳手法を用いて言語横断質問応答データセットを作成し,複数の評価尺度を用いてそれぞれの翻訳結果の精度を評価する。そして,作成したデータセットを用いて言語横断質問応答を行い,質問応答精度と翻訳精度との相関を調査する。これにより,質問応答精度に影響を与える翻訳の要因や,質問応答精度と相関が高い評価尺度を明らかにする。さらに,自動評価尺度を用いて翻訳結果のリランキングを行うことによって,言語横断質問応答の精度を改善できることを示す。(著者抄録)

シソーラス用語： *質問応答システム ,  *機械翻訳 ,  *知識ベース ,  評価基準 ,  評価試験 ,  相関 ,  思考 ,  等級づけ ,  順序 ,  アラインメント ,  質問処理 ,  精度
準シソーラス用語： ランキング ,  リランキング ,  直観 ,  評価尺度

分類 (3件)： 自然語処理  (JE06000L) ,  その他の情報処理  (JE15050M) ,  人工知能  (JE08000Z)

引用文献 (19件)：

• Berant, J., Chou, A., Frostig, R., and Liang, P. (2013).“Semantic Parsing on Freebase from Question-Answer Pairs.” In Proceedings of EMNLP, pp. 1533-1544.
• Cai, Q. and Yates, A. (2013).“Large-scale Semantic Parsing via Schema Matching and Lexicon Extension.” In Proceedings of ACL, pp. 423-433.
• Callan, J., Hoy, M., Yoo, C., and Zhao, L. (2009).“Clueweb09 Dataset.”.
• Doddington, G. (2002).“Automatic Evaluation of Machine Translation Quality Using N-gram Co-occurrence Statistics.” In Proceedings of HLT, pp. 138-145.
• Fader, A., Zettlemoyer, L., and Etzioni, O. (2014).“Open Question Answering over Curated and Extracted Knowledge Bases.” In Proceedings of ACM SIGKDD, pp. 1156-1165.

タイトルに関連する用語 (6件)： 言語 ,  横断 ,  質問応答 ,  機械翻訳 ,  評価尺度 ,  調査