文献

J-GLOBAL ID：202102237809872605   整理番号：21A3182993

文法誤り訂正モデルの横断評価

Cross-Sectional Evaluation of Grammatical Error Correction Models

著者 (10件)： 三田雅人 (理化学研究所) ,  三田雅人 (東北大学) ,  水本智也 (理化学研究所) ,  水本智也 (フューチャー株式会社) ,  金子正弘 (理化学研究所) ,  金子正弘 (東京都立大学) ,  永田亮 (理化学研究所) ,  永田亮 (甲南大学) ,  乾健太郎 (理化学研究所) ,  乾健太郎 (東北大学)
資料名： 自然言語処理(Web)  (Journal of Natural Language Processing (Web))
巻： 28  号： 1  ページ： 160-182(J-STAGE)  発行年： 2021年 
JST資料番号： U2528A  ISSN： 2185-8314  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 文法誤り訂正の既存研究の多くはこれまで主に CoNLL-2014 評価データセットを用いた単一コーパス上で文法誤り訂正モデルを評価してきた.しかし,書き手の習熟度やエッセイのトピックなど様々なバリエーションのある入力文が想定される文法誤り訂正タスクにおいて,タスクの難易度は各条件下によって異なるため,単一コーパスによる評価では不十分であると考えられる.そこで本研究では,文法誤り訂正の評価の方法論として,単一コーパス評価は不十分であるという仮説に基づきコーパス横断評価の必要性について調査を行う.具体的には,4 種類の手法 (LSTM, CNN, Transformer, SMT) を 6 種類のコーパス (CoNLL-2014, CoNLL-2013, FCE, JFLEG, KJ, BEA-2019) で評価し,各コーパス間でモデル順位にばらつきが生じるかについて検証を行った.評価実験の結果,モデル順位は各コーパスによって大きく変動したため,既存の単一コーパス評価では不十分であることがわかった.また,横断評価はメタ評価方法としてだけではなく,実応用を見据えた場合においても有用であると考えられる.そこで,横断評価の有用性のケーススタディとして,文法誤り訂正の入力に想定される代表的な条件の一つである,書き手の習熟度を評価セグメントとした場合の横断評価について調査を行った.その結果,書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乖離があることがわかった.(著者抄録)

シソーラス用語： *自然言語処理 ,  *誤り訂正 ,  *文法 ,  タスクパフォーマンス ,  性能評価 ,  *コーパス ,  分散【variance】 ,  性質 ,  事例研究 ,  ばらつき
準シソーラス用語： 習熟度 ,  横断評価 ,  ケーススタディ

著者キーワード (8件)： 文法誤り訂正 ,  評価尺度 ,  学習支援 ,  深層学習 ,  Grammatical Error Correction ,  Evaluation Metric ,  Computer Assisted Language Learning ,  Deep Learning

分類 (3件)： 自然語処理  (JE06000L) ,  数理言語学  (JB05000V) ,  情報加工一般  (AC05010A)

引用文献 (42件)：

• Bryant, C., Felice, M., and Briscoe, T. (2017). “Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction.” In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2017), pp. 793-805.
• Bryant, C. and Ng, H. T. (2015). “How Far are We from Fully Automatic High Quality Grammatical Error Correction?” In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2015), pp. 697-707.
• Buck, C., Heafield, K., and van Ooyen, B. (2014). “N-gram Counts and Language Models from the Common Crawl.” In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC’14), pp. 3579-3584.
• Chollampatt, S. and Ng, H. T. (2018). “A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction.” In Proceedings of the 32nd AAAI Conference on Artificial Intelligence (AAAI 2018), pp. 5755-5762.
• Dahlmeier, D. and Ng, H. T. (2012). “Better Evaluation for Grammatical Error Correction.” In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2012), pp. 568-572.

タイトルに関連する用語 (5件)： 文法 ,  誤り訂正 ,  モデル ,  横断 ,  評価