文献

J-GLOBAL ID：202502266265196034   整理番号：25A0765706

LLMの安全性における大規模人手評価

著者 (3件)： 高橋哲朗 (鹿児島大) ,  鈴木久美 (NII LLMC) ,  関根聡 (NII LLMC)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 31st  ページ： ROMBUNNO.Q2-2 (WEB ONLY)  発行年： 2025年03月03日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： LLMの安全性の評価のために,先行研究における人手評価の結果を分析し,評価の課題を洗い出すことにより評価基準を整備した.この評価基準を用い12のLLMによる183の質問に対する回答の安全性を人手により評価した.そしてこの人手評価結果の分析を通して評価における課題を整理した.評価結果は現行のLLMの安全性における能力の評価に加え,LLMの安全性を評価する基準となるデータとして,また自動評価手法の構築のために貢献し得る.(著者抄録)

シソーラス用語： *言語モデル ,  安全性 ,  評価基準 ,  日本語 ,  *安全評価 ,  手作業 ,  評価実験 ,  *人工知能
準シソーラス用語： LLM【言語モデル】 ,  *安全性評価 ,  応答生成 ,  自動評価 ,  *質問応答 ,  人手作業 ,  人手評価 ,  *生成AI ,  *大規模言語モデル

分類 (2件)： 人工知能  (JE08000Z) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (3件)： 安全性 ,  大規模 ,  評価