文献

J-GLOBAL ID：202502252624199062   整理番号：25A3159511

AI生成テキストにおける人間関与の測定:学術的ライティングに関する事例研究【JST機械翻訳】

Measuring Human Involvement in AI-Generated Text: A Case Study on Academic Writing

著者 (6件)： Guo Yuchen (The University of Tokyo (Japan),Dept. of Information & Communication Engineering (ICE)) ,  Dou Zhicheng (The University of Tokyo (Japan),Dept. of Information & Communication Engineering (ICE)) ,  Nguyen Huy H. (National Institute of Informatics (Japan)) ,  Chang Ching-Chun (National Institute of Informatics (Japan)) ,  Sugawara Saku (National Institute of Informatics (Japan)) ,  Echizen Isao (The University of Tokyo (Japan),Dept. of Information & Communication Engineering (ICE))
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2025  号： IJCNN  ページ： 1-10  発行年： 2025年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ChatGPTやClaudeのような大規模言語モデルの急速な進歩により,コンテンツ生成が劇的に進歩した。この進歩は,生命と仕事の様々な側面を大いに強化したが,それは社会の特定の領域にも否定的に影響した。最近の調査は,大学生のほぼ30%が学術論文や報告書を書くのを助けるために生成的AIを使用することを明らかにした。ほとんどの対策は,二値分類タスクとしてAI生成テキストの検出を扱っており,従ってロバスト性に欠ける。この手法は,人間-機械協調が主流になっているにも拘わらず,コンテンツの生成における人間の関与を見落としている。テキスト全体を生成する他に,人々はテキストを完了または改訂するために機械を使用する可能性がある。そのような人間の関与はケースごとに異なり,二値分類を満足できるアプローチよりも少なくする。この状況を参加検出難読化と呼ぶ。生成過程における人間関与を測定する尺度としてBERTScoreを用い,この問題に対処するためにトークン分類タスクで訓練したマルチタスクRoBERTaベース回帰器を提案した。この手法の有効性を評価するために,大学ベースのシナリオをシミュレートし,様々なレベルの人間関与を反映する連続データセットを作成した。筆者らが調べたすべての既存の検出器は,このデータセットへのヒトの関与のレベルの検出に失敗した。しかし,本方法は成功した(F1スコア0.9423,回帰二乗平均誤差0.004)。さらに,生成モデルにわたるいくつかの一般化可能性を実証した。このコードはhttps://github.com/gyc-nii/CAS-CS-and-dual-head-detectorで利用可能である。Copyright 2025 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST機械翻訳】

シソーラス用語： 著者 ,  ヒト ,  検出器 ,  *事例研究 ,  有効性 ,  大学生 ,  トークン ,  ロバスト性 ,  コンテンツ ,  言語モデル ,  二値分類 ,  生成モデル
準シソーラス用語： 難読化 ,  マルチタスク ,  大規模言語モデル , 【Automatic Indexing@JST】

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： AI ,  人間 ,  学術 ,  研究