文献

J-GLOBAL ID：202102234597326655   整理番号：21A2921690

研究利用可能な小論文データに基づく参照文書を利用した小論文採点手法の開発

Development of Essay Scoring Methods Based on Reference Texts with Construction of Research-Available Japanese Essay Data

著者 (10件)： 竹内孔一 (岡山大 学術研究院) ,  大野雅幸 (岡山大 学術研究院) ,  大野雅幸 (住友電工情報システム) ,  泉仁宏太 (岡山大 学術研究院) ,  泉仁宏太 (NTTデータMSE) ,  田口雅弘 (岡山大 学術研究院) ,  稲田佳彦 (岡山大 学術研究院) ,  飯塚誠也 (岡山大) ,  阿保達彦 (岡山大 学術研究院) ,  上田均 (岡山大 学術研究院)
資料名： 情報処理学会論文誌ジャーナル(Web)
巻： 62  号： 9  ページ： 1586-1604 (WEB ONLY)  発行年： 2021年09月15日 
JST資料番号： U0452A  ISSN： 1882-7764  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,小論文の自動採点手法が英語圏において多数研究されている.この要因として研究利用可能な大規模な採点済み小論文データセットが公開されていることがあげられる.一方で,日本語では母語話者が記述した研究で広く利用されている採点済み小論文データは現段階では見受けられない.そこで,本論文ではまず模擬試験を実施し,他機関でも研究利用可能な小論文データを構築する.ルーブリックを利用して2名で採点することで揺れの少ない採点済み答案データを構築する.また,小論文自動採点の先行研究において,多数の採点済み答案を必要とする手法が提案されているが,たとえば試験問題など小論文課題が新規である場合,多数の答案に対して事前採点することは容易ではないと考えられる.そこで,本論文では小論文自動採点手法の枠組として,小論文課題に沿った参考文書または1件の模範答案のみを参照文書として利用可能な場合の採点手法について論じる.アプローチとして参照文書と小論文との類似度を利用した採点手法を複数提案し,実験的に人手による評価値と相関が高い手法を明らかにする.類似度計算法として,形態素の頻度,Wikipediaを利用したidf値,LSI,LDA,分散表現ベクトル,BERTを用いた文書ベクトルを利用する.評価実験の結果,形態素の頻度とidf値を利用した手法が他の手法に比べて人手による評価値と複数の課題で相関が高く有効な手法であることを明らかにする.(著者抄録)

シソーラス用語： *点 ,  近似法 ,  言語モデル ,  表現 ,  *参考文献 ,  *論文
準シソーラス用語： BERT ,  LDA ,  *採点 ,  *参照文献 ,  分散表現

分類 (1件)： 自然語処理  (JE06000L)

引用文献 (59件)：

• Alikaniotis, D., Yannakoudakis, H. and Rei, M.: Automatic Text Scoring Using Neural Networks, Proc. 54th Annual Meeting of the Association for Computational Linguistics, pp.715-725 (2016).
• Asahara, M.: NWJC2Vec: Word Embedding Dataset from ‘NINJAL Web Japanese Corpus’, Terminology: International Journal of Theoretical and Applied Issues in Specialized Communication, Vol.24, No.1, pp.7-22 (2018).
• Attali, Y. and Burstein, J.: Automated Essay Scoring with e-rater V.2, The Journal of Technology, Learning, and Assessment, Vol.4, No.3, pp.1-30 (2006).
• Bakeman, R. and Gottman, J.M.: Observing Interaction, Cambridge (1986).
• Blanchard, D., Tetreault, J., Higgins, D., Cahill, A. and Chodorow, M.: TOEFL11: A Corpus of Non-Native English, ETS Research Report Series, pp.13-22 (2013).

タイトルに関連する用語 (6件)： 研究 ,  参照 ,  文書 ,  採点 ,  手法 ,  開発