文献

J-GLOBAL ID：202002210126064579   整理番号：20A1795586

ランク順序が新しい統計的有意性を意識した相関測度に十分であるとき【JST・京大機械翻訳】

When Rank Order Isn’t Enough New Statistical-Significance-Aware Correlation Measures

著者 (4件)： Kutlu Mucahid (Qatar University, Doha, Qatar) ,  Elsayed Tamer (Qatar University, Doha, Qatar) ,  Hasanain Maram (Qatar University, Doha, Qatar) ,  Lease Matthew (University of Texas at Austin, Austin, TX, USA)
資料名： ACM Proceedings  (ACM Proceedings)
号： CIKM ’18  ページ： 397-406  発行年： 2018年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 情報検索システムのCranfieldベース評価のための試験収集を構築するのは高価であるため,様々な低コスト法を提案した。これらの方法の信頼性は,全テストコレクションに対する既知のシステムランキング間のランク相関(例えば,Kendallのタウ)の測定と,低コストなものに対する観測されたシステムランキングによって,しばしば検証される。しかしながら,既存のランク相関測度は,観察されたランキングにおけるシステム間のスコア差の統計的有意性を考慮していない。これに対処するために,2つの統計的署名認識ランク相関測度を提案し,その1つは,他の頭部加重バージョンである。最初に,提案した測度と既存のものの間の経験的差異を示した。次に,4つのシステム評価法(プール,クラウドソーシング,不完全な判断による評価,および自動システムランキング)をベンチマークしながら,測度を比較した。この測度の使用は,代替低コスト評価法の信頼性に関する異なる実験的結論を導くことを示した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *測度 ,  情報検索システム ,  システム評価 ,  信頼性 ,  等級づけ ,  ベンチマーク
準シソーラス用語： テストコレクション ,  ローコスト ,  評価法 ,  クラウドソーシング ,  統計的有意性 , 【Automatic Indexing@JST】

著者キーワード (3件)： 評価 ,  IRシステムランキング ,  ランク相関

分類 (1件)： 検索技術  (AC06020S)

タイトルに関連する用語 (5件)： 順序 ,  統計的有意性 ,  意識 ,  相関 ,  測度