文献

J-GLOBAL ID：202102263586288178   整理番号：21A0153655

敵対入力による自動エッセイスコアリングのための予訓練言語モデルの比較研究【JST・京大機械翻訳】

A Comparative Study of Pretrained Language Models for Automated Essay Scoring with Adversarial Inputs

著者 (4件)： Wangkriangkri Phakawat (Chulalongkorn University,Department of Computer Engineering,Bangkok,Thailand) ,  Viboonlarp Chanissara (Chulalongkorn University,Department of Computer Engineering,Bangkok,Thailand) ,  Rutherford Attapol T. (Chulalongkorn University,Department of Linguistics,Bangkok,Thailand) ,  Chuangsuwanich Ekapol (Chulalongkorn University,Department of Computer Engineering,Bangkok,Thailand)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： TENCON  ページ： 875-880  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 自動化されたEssay Scoring(AES)は,人間の介入なしで自動的に書かれたグリーソンを扱うタスクである。本研究では,異なるテキスト埋込み法,即ち,Word Repentation(GloVe)のための大域的ベクトル,言語モデル(ELMo)からの埋込み,および変換者(BERT)からの双方向Encoder Repentationを利用する3つのAESモデルの性能を比較した。2つの評価尺度を用いた:二次重み付けKappa(QWK)と新しい「ロバストさ」を用いて,それらのモデルの能力を定量化して,それらをよりコヒーレントでないようにするために,正規の耳石を修正して作成した敵対者を探知するモデルの能力を定量化した。著者らは以下のことを見出した。(1)BERTベースモデルは,最大ロバスト性を達成し,GloVeベースとELMoベースモデルに従い,埋込みの微調整はQWKを改善したが,ロバスト性を低下させた。これらの知見は,どのAESプログラムが敵対 essayの適正な等級付けに重点を置くかに基づく適切なモデル,微調整する方法,および微調整するかどうかについて有益であった。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： コヒーレンス ,  ベクトル ,  自動化 ,  等級づけ ,  平衡石 ,  重みづけ ,  ロバスト性 ,  *言語モデル
準シソーラス用語： 敵対者 ,  評価尺度 ,  微調整 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： 敵対 ,  スコアリング ,  訓練 ,  言語モデル ,  研究