短期,多言語,マルチタイプ応答の信頼できる自動Gradingに向けて【JST・京大機械翻訳】

Schneider Johannes; Richner Robin; Riser Micha

プレプリント

J-GLOBAL ID：202202215503182239 整理番号：22P0025662

短期,多言語,マルチタイプ応答の信頼できる自動Gradingに向けて【JST・京大機械翻訳】

Towards Trustworthy AutoGrading of Short, Multi-lingual, Multi-type Answers

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月02日プレプリントサーバーでの情報更新日： 2022年01月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

短いテキスト回答の自動化は,NLPの上昇とオンライン教育へのシフトによりもたらされる質問-回答ペアの増加したアベイラビリティにより,より実現可能になった。自動化性能は,まだ人間の等級づけより劣っている。最先端の機械学習モデルの統計およびブラックボックスの性質は,彼らが,倫理的関心を高め,それらの実用的有用性を制限することを不信なものにしている。さらに,オートグラデーションの評価は,典型的には特定の質問タイプに対する小さなモノリンガルデータセットに限定されている。本研究は,数学と言語のような多様な分野をカバーする多重言語からの約10百万の質問-回答対からなる大規模データセットと,質問と回答構文における強い変動を用いた。そのような複雑なデータセットの自動化のための微調整変圧器モデルの有効性を実証した。最良のハイパーパラメータ調整モデルは,約86.5%の精度をもたらし,一般的で,特定のタイプの質問,主題,および言語に調整される最先端のモデルに匹敵する。さらに重要なことに,信頼と倫理的懸念に取り組んだ。自動グラデーションプロセスにおける人間の関与によって,著者らは,自動的に等級付けされた回答の精度を改善する方法を示し,教育支援のものと同等の精度を達成した。また,教師が,システムによって作られた誤りのタイプを効果的に制御し,そして,それらが,個々の試験に関するオートグレードの性能が,期待される性能に近いことを効率的に検証できる方法を示す。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

自然語処理

, , , , ,

前のページに戻る