小論文自動採点システム評価のための日本語小論文データの構築

竹内孔一; 田口雅弘; 稲田佳彦; 飯塚誠也; 阿保達彦; 上田均

文献

J-GLOBAL ID：202102230233425506 整理番号：21A3007838

小論文自動採点システム評価のための日本語小論文データの構築

Construction of Japanese Essay Data for Evaluating Automatic Essay Scoring System

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=21A3007838&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=21A3007838&from=J-GLOBAL&jstjournalNo=U2030A") }}

著者 (6件)： , , , , ,
資料名：
巻： 121 号： 178(NLC2021 6-17) ページ： 40-44 (WEB ONLY) 発行年： 2021年09月09日
JST資料番号： U2030A ISSN： 2432-6380 資料種別：会議録 (C)
記事区分：原著論文発行国：日本 (JPN) 言語：日本語 (JA)

日本語小論文自動採点システムの評価を目的として研究利用可能な日本語母語話者による小論文答案および答案に対して採点したデータを作成した.本論文では小論文データの概要を示すとともに,人手による評価を実施するにあたりどのような点を考慮して評価を実行したかについて記述する.これにより採点済みの小論文データを作成する際の課題を明らかにする.本小論文データでは評価軸として理解力,論理性,妥当性,文書力の4つを設定し,ルーブリックを作成して,それぞれの評価軸に対して2名の採点者で評点を付与した.本論文ではこれらの採点結果の一致度を明らかにすることで各評価軸に対する採点者のゆれから評価と課題の特性の関係について議論する.(著者抄録)

, , , , , ,
, , ,

計算機利用技術一般

引用文献 (13件)：

Elijah Mayfield and Alan W Black. Should you fine-tune bert for automated essay scoring? In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 151-162, 2020.
Farah Nadeem, Huy Nguyen, Yang Liu, and Mari Ostendorf. Automated Essay Scoring with Discourse-Aware Neural Models. In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 484-493, 2019.
Reo Hirao, Mio Arai, Hiroki Shimanaka, Satoru Katsumata, and Mamoru Komachi. Automated essay scoring system for nonnative japanese learners. In Proceedings of the 12th Conference on Language Resources and Evaluation, pp. 1250-1257, 2020.
Masayuki Ohno, Koichi Takeuchi, Kota Motojin, Masahiro Taguchi, Yoshihiko Inada, Masaya Iizuka, Tatsuhiko Abo, and Hitoshi Ueda. Construction of Open Basic Data for Automatic Scoring of Essay and Evaluation of Automatic Scoring Method at Current Stage. In Proceedings of The 15th International Conference of the Pacific Association for Computational Linguistics, pp. 215-220, 2017.
泉仁宏太, 竹内孔一, 大野雅幸, 田口雅弘, 稲田佳彦, 飯塚誠也, 阿保達彦, 上田均. 小論文採点支援のための関連文書取得法の考察 . 電子情報通信学会言語理解とコミュニケーション研究会, pp. 47-51, 2017.

, , ,

前のページに戻る