少ないことは少ない:スニペットが人間対機械関連性推定に十分か?【JST・京大機械翻訳】

Kazai Gabriella; Mitra Bhaskar; Dong Anlei; Craswell Nick; Yang Linjun

プレプリント

J-GLOBAL ID：202202216228919362 整理番号：22P0277881

少ないことは少ない:スニペットが人間対機械関連性推定に十分か?【JST・京大機械翻訳】

Less is Less: When Are Snippets Insufficient for Human vs Machine Relevance Estimation?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年01月21日プレプリントサーバーでの情報更新日： 2022年01月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

伝統的情報検索(IR)ランキングモデルは,文書の完全テキストを処理する。しかし,変換機に基づく新しいモデルは,長いテキストを処理するとき,高い計算コストを発生させるので,典型的には文書からのスニペットだけを使用する。文書のURL,標題,およびスニペット(UTS)に基づくモデルの入力は,検索エンジン結果ページ(SERP)に出現する要約とは,クリックにどの結果をもたらすかを決定するのを助ける。これは,そのような要約がランキングモデルまたは人間評価者による関連性推定に十分であり,人間と機械が類似の方法で文書のフルテキストから恩恵を受けるかどうかについての疑問を提起する。これらの疑問に答えるために,Bingの検索ログからサンプリングされた12kクエリー文書に関する人間と神経モデルベースの関連性評価を研究した。文書要約のみと完全テキストが評価者に曝露されたとき,関連評価における変化を比較し,質問と文書特性の範囲,例えばクエリタイプ,スニペット長さを研究した。著者らの知見は,完全なテキストが,類似したクエリと文書タイプ,例えば,テール,長いクエリのための人間とBERTモデルにとって有益であることを示した。しかし,より密な視点は,人間と機械が,非常に異なる方法で付加的入力に応答することを明らかにした。また,フルテキストの追加は,例えばナビゲーションクエリのために,ランク付け者のパフォーマンスを hす。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , 検索技術

, , ,

前のページに戻る