文献

J-GLOBAL ID：202202258566107888   整理番号：22A1104795

レート:ユーザシミュレータの信頼性を意識したテスタベース評価フレームワーク【JST・京大機械翻訳】

RATE: A Reliability-Aware Tester-Based Evaluation Framework of User Simulators

著者 (2件)： Labhishetty Sahiti (University of Illinois at Urbana-Champaign, Urbana, IL, USA) ,  Zhai ChengXiang (University of Illinois at Urbana-Champaign, Urbana, IL, USA)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 13185  ページ： 336-350  発行年： 2022年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 対話型情報検索(IIR)システムを評価するために,ユーザシミュレータの評価が必要である。以前の研究は,ユーザシミュレータを評価するためのテスターベースのアプローチを提案してきたが,テスター自体の信頼性に関する重要な疑問に取り組んでおり,また,複数のテスターに基づくユーザシミュレータのための単一信頼性スコアを生成する方法を研究した。本論文では,これら2つの制限に対処し,ユーザシミュレータとテスターの両方の信頼性を評価するための新しい信頼性-アウェアテスターベース評価(RATE)フレームワークを提案した。このフレームワークにおいて,Tエステルの信頼性とシミュレータの信頼度を,信頼性の反復伝播を用いて教師なし学習を通して共同学習した。信頼性の教師なし学習のための2つのアルゴリズムを提案して評価した。TRECデータセットを用いた評価結果は,提案したRATEフレームワークがシミュレータとテスターの信頼性を測定するのに有効であり,ユーザシミュレーションを用いてIIRシステムを評価する新しいパラダイムを潜在的に確立するための基礎として役立つことを示した。Copyright The Author(s), under exclusive license to Springer Nature Switzerland AG 2022 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  シミュレーション ,  情報検索 ,  *シミュレータ ,  *信頼性 ,  信頼度 ,  評価 ,  教師なし学習 ,  エステル ,  回路試験器 ,  *フレームワーク【ソフトウェア開発】
準シソーラス用語： TREC ,  協調学習 ,  対話型 ,  評価枠組み , 【Automatic Indexing@JST】

著者キーワード (3件)： ユーザシミュレータの信頼性 ,  テスター ,  IIRシステム

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： レート ,  シミュレータ ,  意識 ,  テスタ ,  評価フレームワーク