単純化したTinyBERT:文書検索のための知識蒸留【JST・京大機械翻訳】

Chen Xuanang; He Ben; Hui Kai; Sun Le; Sun Yingfei

プレプリント

J-GLOBAL ID：202202210533280853 整理番号：21P0049103

単純化したTinyBERT:文書検索のための知識蒸留【JST・京大機械翻訳】

Simplified TinyBERT: Knowledge Distillation for Document Retrieval

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年09月16日プレプリントサーバーでの情報更新日： 2021年03月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

文書ランキングのためのBERTモデルの利用の有効性にもかかわらず,そのようなアプローチの高い計算コストは,それらの使用を制限する。この目的のために,本論文は,文書ランキングタスクに関する2つの知識蒸留モデルの有効性を最初に経験的に調査した。さらに,最近提案されたTinyBERTモデルの上に,2つの単純化を提案した。2つの異なる広く使用されたベンチマークに関する評価は,提案した単純化による単純化されたTinyBERTが,TinyBERTをブーストするだけでなく,15×高速化を提供するとき,BERT-Baseを著しく凌駕することを示した。【JST・京大機械翻訳】

, , , , , ,
, , , 【Automatic Indexing@JST】

入出力装置 , 人間機械系

, ,

前のページに戻る