文献

J-GLOBAL ID：202002261370972394   整理番号：20A1795671

エビデンスに基づくクラウドソーシングによる局所関連性の研究【JST・京大機械翻訳】

Studying Topical Relevance with Evidence-based Crowdsourcing

著者 (8件)： Inel Oana (Vrije Universiteit Amsterdam, Amsterdam, Netherlands) ,  Haralabopoulos Giannis (University of Nottingham, Nottingham, England UK) ,  Li Dan (University of Amsterdam, Amsterdam, Netherlands) ,  Van Gysel Christophe (Apple Inc., Cupertino, CA, USA) ,  Szlavik Zoltan (IBM CAS Benelux, Amsterdam, Netherlands) ,  Simperl Elena (University of Southampton, Southampton, England UK) ,  Kanoulas Evangelos (University of Amsterdam, Amsterdam, Netherlands) ,  Aroyo Lora (Vrije Universiteit Amsterdam, Amsterdam, Netherlands)
資料名： ACM Proceedings  (ACM Proceedings)
号： CIKM ’18  ページ： 1253-1262  発行年： 2018年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 情報検索システムは,関連文書検索における有効性を測定するために,大規模試験収集に依存する。需要は高いが,そのような試験収集を創造するタスクは,注釈付けを必要とする大量のデータ,およびタスク自体の固有主観性のために,面倒である。本論文では,主観性と曖昧さの問題に対処することにより,ユーザの視点からの局所関連性を研究した。この手法と結果を確立されたTRECアノテーションガイドラインと結果と比較する。比較は,関連スケール,文書粒度,注釈テンプレートおよび労働者の数のような変数による一連のクラウドソーシングパイロット実験に基づいている。結果は,関連評価精度とより小さい文書粒度,すなわち,パラグラフレベルに関する関連性の集約が,完全な文書のレベルで行った評価と比較して,より良い関連性精度をもたらすことを示す。予想されたように,結果はまた,バイナリ関連性判断の収集が,TRECアノテーションガイドラインで使用される3元スケールと比較して,より高い精度をもたらすことを示す。最後に,クラウドソースアノテーションタスクは,単一評価者関連ラベルより,より正確な文書関連性ランキングを提供した。本研究はTREC共通コアトラック周辺の信頼できる試験収集である。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 情報検索システム ,  文献検索 ,  労働者 ,  等級づけ ,  有効性 ,  曖昧さ ,  *アノテーション
準シソーラス用語： TREC ,  *クラウドソーシング ,  バイナリー , 【Automatic Indexing@JST】

著者キーワード (3件)： クラウドソーシング ,  IR評価 ,  trec共通コアトラック

分類 (3件)： その他の情報処理  (JE15050M) ,  検索技術  (AC06020S) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： エビデンス ,  クラウドソーシング ,  関連性 ,  研究