文献

J-GLOBAL ID：202002224496208129   整理番号：20A2264998

蒸留下のBERTランカの理解【JST・京大機械翻訳】

Understanding BERT Rankers Under Distillation

著者 (3件)： Gao Luyu (Carnegie Mellon University, Pittsburgh, PA, USA) ,  Dai Zhuyun (Carnegie Mellon University, Pittsburgh, PA, USA) ,  Callan Jamie (Carnegie Mellon University, Pittsburgh, PA, USA)
資料名： ACM Proceedings  (ACM Proceedings)
号： ICTIR ’20  ページ： 149-152  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 大規模コーパスに事前訓練されたBERTのような深い言語モデルは,最先端の情報検索ランキングシステムに対して巨大な性能ブーストを与える。そのようなモデルに組み込まれた知識は,通路とクエリの間の複雑なマッチング信号をピックアップすることを可能にする。しかし,推論の間の高い計算コストは,実世界探索シナリオにおけるそれらの展開を制限する。本論文では,BERT内の探索のための知識が,蒸留を通してより小さなランク付け者に転送できるかどうか,そして,どのように研究するかを研究した。著者らの実験は,最先端の性能を維持しながら,9倍までの高速化を生成する適切な蒸留手順の使用が重要であることを示した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *情報検索 ,  蒸留 ,  等級づけ ,  連絡通路 ,  高速化 ,  言語モデル
準シソーラス用語： クエリー ,  計算コスト , 【Automatic Indexing@JST】

著者キーワード (3件)： 効率 ,  知識蒸留 ,  神経IR

分類 (1件)： 蒸留,蒸発  (XD02010F)

タイトルに関連する用語 (3件)： 蒸留 ,  BERT ,  理解