文献

J-GLOBAL ID：202002222114645086   整理番号：20A1799625

システム比較におけるパートピック分散の研究【JST・京大機械翻訳】

A Study of Per-Topic Variance on System Comparison

著者 (3件)： Yang Meng (Tianjin University, Tianjin, China) ,  Zhang Peng (Tianjin University, Tianjin, China) ,  Song Dawei (Beijing Institute of Technology, Beijing, China)
資料名： ACM Proceedings  (ACM Proceedings)
号： SIGIR ’18  ページ： 1181-1184  発行年： 2018年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 文書収集が母集団からのサンプルであるという概念の下で,観察された1つのトピックメトリック(例えばAP)値は,異なるサンプルで変化し,1個所ごとの分散をもたらす。システム比較の結果は,要約メトリック(例えばMAP)によるシステムのランキングの比較,または2つのシステムの間に有意差があるかどうかのテストは,1つのトピックメトリック値の変動性によって影響を受ける。本論文では,システム比較に対するパートピック分散の影響を調べた。そのような効果を測定するために,2つのランキングベースの方法,即ち,誤り率(ER)とKendall Rank相関係数(KRCC),ならびに2つの有意性試験ベースの方法,すなわち,Achieved Significance Level(ASL)と推定差異(ED)を採用した。ロバストおよびアドホックトラックに関するTREC参加システムの経験的比較を行い,システムのランキングに対する1次分散の影響は明らかではなく,一方,有意性試験ベース比較は,1点ごとの分散に敏感であることを示した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 相関係数 ,  誤り率 ,  等級づけ ,  *母集団 ,  ロバスト性
準シソーラス用語： TREC , 【Automatic Indexing@JST】

著者キーワード (3件)： 評価 ,  パートピック分散 ,  システム比較

分類 (1件)： 検索技術  (AC06020S)

タイトルに関連する用語 (3件)： パート ,  ピック ,  研究