オープンドメイン会話探索におけるユーザ満足度のより良い理解に向けて【JST・京大機械翻訳】

Chu Zhumin; Ai Qingyao; Wang Zhihong; Liu Yiqun; Huang Yingye; Zhang Rui; Zhang Min; Ma Shaoping

プレプリント

J-GLOBAL ID：202202220244024291 整理番号：22P0327081

オープンドメイン会話探索におけるユーザ満足度のより良い理解に向けて【JST・京大機械翻訳】

Towards Better Understanding of User Satisfaction in Open-Domain Conversational Search

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年04月06日プレプリントサーバーでの情報更新日： 2024年01月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

会話検索の人気の増加とともに,会話検索システムの性能を評価する方法は,IRコミュニティにおける重要問題になった。会話検索評価に関する既存の研究は,主に2つのストリームに分類できる。(1)セマンティック類似性(例えばBLUE,METEORおよびBERTScore)に基づくメトリックスの構築,または(2)従来の探索法(例えば,nDCG,RBPおよびnERR)を用いたシステムの応答ランキング性能の直接評価。しかし,これらの方法は,ユーザの情報要求を無視するか,会話探索の混合開始特性を無視する。これは会話探索シナリオにおけるユーザ満足度を正確にモデル化する方法の疑問を提起する。満足フィードバックを提供するユーザを明示的に知ることは難しいので,従来のIR研究は,検索におけるユーザ満足度を推定するためのCranfieldパラダイム(即ち,第三者アノテーション)とユーザ行動モデリングにしばしば依存している。しかし,これらの2つのアプローチの実現可能性と有効性は,会話探索において十分に調査されていない。本論文では,ユーザ満足の展望から会話検索の評価を行った。新しい会話探索実験プラットフォームを構築し,豊富な注釈と探索行動データを含む中国語オープンドメイン会話探索行動データセットを構築した。また,会話探索シナリオにおけるCranfieldパラダイムの実現可能性を調べるために,セッションレベルおよびターンレベルにおける第三者満足アノテーションを収集した。実験結果は,ユーザ満足度アノテーションと第三者アノテーションの間のいくつかの一貫性とかなりの差を示した。また,ターンレベル情報に基づくセッションレベルユーザ満足度を捉えるために,対話継続または終末行動モデル(DCEBM)を提案した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , 検索技術

, , , ,

前のページに戻る