文献

J-GLOBAL ID：201802242931548252   整理番号：18A0122020

文法誤り訂正の文単位評価におけるリファレンスレス手法の評価性能

著者 (6件)： 浅野広樹 (東北大) ,  浅野広樹 (理研) ,  水本智也 (理研) ,  松林優一郎 (東北大) ,  乾健太郎 (東北大) ,  乾健太郎 (理研)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 117  号： 367(NLC2017 35-43)  ページ： 13-20  発行年： 2017年12月13日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 文法誤り訂正の自動評価はリファレンスを使わないリファレンスレス評価手法が浅野らによって提案され,リファレンスレス手法の評価性能は従来のリファレンスベース手法を上回ったとされている。その評価性能は,あるテスト文書に対する複数の訂正システムの出力全体に対する自動評価スコアと人手評価スコアの相関によって評価された。しかし,文書全体に対するスコアの相関が高いからといって,文単位での評価も適切であるとは限らない。文単位評価が適切にできれぼ,訂正システムの誤り分析を効率的に行うことができる。そこで本研究では,文法誤り訂正の自動評価の文単位での評価性能を調査した。その結果,リファレンスレス手法の評価性能が文単位でも従来のリファレンスを用いる手法を上回った。このことは,リファレンスレス手法は複数の訂正候補からよい訂正を選べることを意味するため,訂正システムに応用できる可能性がある。実際に,複数の訂正システムの出力をリファレンスレス評価手法で評価し最もよい訂正を選択することによって訂正性能が向上することを確かめた。(著者抄録)

シソーラス用語： *文法 ,  *誤り訂正 ,  評価 ,  参考文献 ,  相関 ,  文章 ,  評価基準 ,  性能評価 ,  *自然言語処理
準シソーラス用語： レファレンス ,  自動評価 ,  スコアリング ,  文 ,  評価尺度

分類 (1件)： 自然語処理  (JE06000L)

引用文献 (20件)：

• BNC Consortium: The British National Corpus, version 3 (BNC XML Edition), Distributed by Oxford University Computing Services on behalf of the BNC Consortium (2007).
• Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi, M., Verspoor, K. and Zampieri, M.: Findings of the 2016 Conference on Machine Translation, Proceedings of the First Conference on Machine Translation, Berlin, Germany, Association for Computational Linguistics, pp. 131-198 (2016).
• Bojar, O., Graham, Y. and Kamran, A.: Results of the WMT17 Metrics Shared Task, Proceedings of the Second Conference on Machine Translation, Copenhagen, Denmark, Association for Computational Linguistics, pp. 489-513 (2017).
• Bryant, C. and Ng, H. T.: How Far are We from Fully Automatic High Quality Grammatical Error Correction?, Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Paper, pp. 697-707 (2015).
• Dahlmeier, D. and Ng, H. T.: Better evaluation for grammatical error correction, Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572 (2012).

タイトルに関連する用語 (7件)： 文法 ,  誤り訂正 ,  文 ,  評価 ,  リファレンス ,  レス ,  手法