文献

J-GLOBAL ID：201902271688545577   整理番号：19A0419067

参照データとidfを利用した事前採点不要な小論文評価手法

Proposing an Unsupervised Approach to Evaluate Essays Using IDF on Reference Data

著者 (9件)： 大野雅幸 (岡山大 大学院自然科学研究科) ,  竹内孔一 (岡山大 大学院自然科学研究科) ,  泉仁宏太 (岡山大 大学院自然科学研究科) ,  小畑友也 (岡山大 大学院自然科学研究科) ,  田口雅弘 (岡山大 院社会文化科学研究科) ,  稲田佳彦 (岡山大 院教育学研究科) ,  飯塚誠也 (岡山大 全学教育・学生支援機構) ,  阿保達彦 (岡山大) ,  上田均 (岡山大)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 118  号： 355(NLC2018 29-34)(Web)  ページ： 103-108 (WEB ONLY)  発行年： 2018年12月04日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 大学入試において2020年から記述式問題が導入されることから記述式の問題を自動で採点する手法の開発が求められている。本論では,エッセイタイプの小論文課題を対象に,課題に関連する参照データとWikipedia全文から作成したidfを利用した事前採点不要な自動採点手法を提案する。先行研究において,日本語小論文を対象とした自動採点では,多くの事前採点が必要となり,実際の数百人規模の試験では利用することが難しいと考えられる。そこで本研究では,事前採点が不要な小論文採点手法を提案する。また,小論文の模擬試験を実施して小論文データを構築する。構築した小論文データに対して採点手法を用い,実験を行い評価する。また小論文データの人手による採点に対しても評価を行う。評価実験の結果neologd辞書を利用した形態素解析器を用いて,idf値を利用した形態素の一致数が,人手の評価値と相関が高いことを示す。(著者抄録)

シソーラス用語： *論文 ,  *方式 ,  *試験 ,  データ ,  指標 ,  *点 ,  *自動化 ,  *記述 ,  シミュレーション ,  形態素解析
準シソーラス用語： tf・idf ,  *採点 ,  参照データ ,  *大学入試 ,  *評価手法 ,  模擬試験

分類 (2件)： 自然語処理  (JE06000L) ,  CAI  (JE09000G)

引用文献 (16件)：

• 石岡恒憲. コンピュータ上で実施する記述式試験-エッセイタイプ,短答式,マルチメディア利用について-. 電子情報通信学会誌, Vol. 99, No. 10, pp. 1005-1011, 2016.
• Yigal Attali and Jill Burstein. Automated essay scoring with e-rater v.2. The Journal of Technology, Learning, and Assessment, Vol. 4, No. 3, pp. 1-30, 2006.
• Hongbo Chen and Ben He. Automated essay scoring by maximizing human-machine agreement. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1741-1752, 2013.
• Fei Dong and Yue Zhang. Automatic features foressay scoring - an empirical study. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1072-1077, 2016.
• Dimitrios Alikaniotis, Helen Yannakoudakis, and Marek Rei. Automatic text scoring using neural networks. In Proceedings of the the 54th Annual Meeting of the Association for Computational Linguistics, pp. 715-725, 2016.

タイトルに関連する用語 (3件)： 参照データ ,  採点 ,  評価手法