ユーザシミュレーションによる混合主導会話検索システムの評価【JST・京大機械翻訳】

Sekulic Ivan; Aliannejadi Mohammad; Crestani Fabio

プレプリント

J-GLOBAL ID：202202216517621878 整理番号：22P0333334

ユーザシミュレーションによる混合主導会話検索システムの評価【JST・京大機械翻訳】

Evaluating Mixed-initiative Conversational Search Systems via User Simulation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月17日プレプリントサーバーでの情報更新日： 2022年04月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

質問を問うことによって,根底にあるユーザ情報ニーズを明らかにすることは,現代の会話検索システムの重要な特徴である。しかし,このようなシステムの評価に答えることは,大きな人間努力を必要とし,時間がかかり,高価である。本論文では,そのような会話検索システムの自動評価のためにUSiと呼ばれる会話ユーザシミュレータを提案する。情報ニーズの記述を考えると,USiは探索セッションを通してトピックに関する質問を明確に答えることができる。自動自然言語生成計量とクラウドソーシング研究を含む一連の実験を通して,USiにより生成された応答は,基礎となる情報ニーズと人間生成回答に匹敵することを示した。さらに,著者らは,会話探索システムがユーザニーズを明確にする目標を持つ(模擬)ユーザに複数の質問を問うマルチターンインタラクションに向けて最初のステップを作った。この目的のために,著者らは,クラウドソーシングベースのマルチターンデータ収集を実行することによって,質問,すなわち,QulacとClariQの明確化のために,現在利用可能なデータセットを拡大した。著者らは,著者らの生成,GPT2ベースモデルが,単一ターン設定における疑問を明確にし,マルチターン設定における著者らのモデルの能力を議論するために,正確で自然な回答を提供できることを示した。コード,データ,および事前訓練モデルを主題に関するさらなる研究のために使用する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , 【Automatic Indexing@JST】

検索技術 , 人工知能 , 人間機械系

, , ,

前のページに戻る