文献

J-GLOBAL ID：202502233259815867   整理番号：25A0765670

対話評価における参照応答集合の妥当性と言語モデルが出力する応答の多様性の関係

著者 (8件)： 佐藤魁 (東北大) ,  吉野幸一郎 (東京科大) ,  吉野幸一郎 (理研 GRP) ,  吉野幸一郎 (奈良先端科学技術大学院大) ,  赤間怜奈 (東北大) ,  赤間怜奈 (理研 AIP) ,  鈴木潤 (東北大) ,  鈴木潤 (理研 AIP)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 31st  ページ： ROMBUNNO.P10-11 (WEB ONLY)  発行年： 2025年03月03日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 雑談対話システムの性能を参照応答に基づいて評価する際,評価の妥当性を担保するためには,参照応答集合が評価対象の対話履歴に対して想定される応答候補を十分に網羅している必要がある.本研究では,言語モデルが出力する応答の多様性が,評価に必要な参照応答集合の大きさを予測する指標として有用であるかを検討した.実験の結果,少数の参照応答でも評価可能と分類された対話履歴は,それ以外の対話履歴と比較して応答候補の多様性が低いことが確認された.得られた結果から言語モデルが出力する応答の多様性が,必要な参照応答集合の予測に有用である可能性が示唆された.(著者抄録)

シソーラス用語： 人工知能 ,  *言語モデル ,  *会話 ,  評価 ,  多様性 ,  妥当性 ,  予測 ,  *応答 ,  集合
準シソーラス用語： LLM【言語モデル】 ,  *応答生成 ,  *参照応答 ,  生成AI ,  対話 ,  *対話履歴 ,  大規模言語モデル

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (8件)： 対話 ,  評価 ,  参照 ,  応答 ,  集合 ,  妥当性 ,  言語モデル ,  多様性