DuReader検索:Webサーチエンジンからの経路検索のための大規模中国語ベンチマーク【JST・京大機械翻訳】

Qiu Yifu; Li Hongyu; Qu Yingqi; Chen Ying; She Qiaoqiao; Liu Jing; Wu Hua; Wang Haifeng

プレプリント

J-GLOBAL ID：202202208069743751 整理番号：22P0306882

DuReader検索:Webサーチエンジンからの経路検索のための大規模中国語ベンチマーク【JST・京大機械翻訳】

DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月18日プレプリントサーバーでの情報更新日： 2022年11月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,経路検索のための大規模中国語データセットであるDuReader_retrievalを提示した。Dureader_retrievalは商用検索エンジンから90K以上のクエリと8M以上のユニークな通路を含む。他のデータセットの短所を軽減し,ベンチマークの品質を確保するために,著者らは,(1)多重検索者からプールされた手動注釈付け結果によって開発と試験セットにおける偽陰性を減少して,(2)開発と試験質問に意味的に類似した訓練クエリを除去する。さらに,交差ドメイン評価のための2つのドメイン外試験セットと,交差言語検索評価のための一連のヒト翻訳クエリを提供した。実験により,DuReader_retrievalは挑戦的であり,多くの問題は,顕著語句不整合やクエリとパラグラフ間の構文不整合のような未解決のままであることを示した。また,これらの実験は,高密度検索者がドメイン全体にわたってよく一般化せず,交差言語検索が本質的に困難であることを示した。Dureader_retrievalはhttps://github.com/baidu/DuReader/tree/master/DuReader Retrievalで公開されている。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

情報検索一般 , 検索技術

, , , , , ,

前のページに戻る