ピラミッド-BERT:逐次コアセットベースのトークン選択による複雑性の低減【JST・京大機械翻訳】

Huang Xin; Khetan Ashish; Bidart Rene; Karnin Zohar

プレプリント

J-GLOBAL ID：202202216732128244 整理番号：22P0311030

ピラミッド-BERT:逐次コアセットベースのトークン選択による複雑性の低減【JST・京大機械翻訳】

Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月27日プレプリントサーバーでの情報更新日： 2022年03月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

BERTのような変換器ベースの言語モデルは,様々なNLPタスクに関して最先端の性能を達成したが,計算的に禁止されている。予測のために単一トークン埋込みを必要とする分類やランキングのようなタスクにおいて,エンコーダを通してトークンを変換しながら,シーケンス長を連続して短縮するために,最近の研究ラインは様々な発見的方法を使用する。著者らは,理論結果によって正当化された{emコアセット}ベースのトークン選択法を有する以前に使用された発見的方法に置き換わるPyramid-BERTと呼ばれるこの問題への新しい解決策を提示した。コアセットベースのトークン選択技法は,高価な事前訓練を避けることを可能にし,空間効率の良い微調整を与え,従って,より長いシーケンス長を扱うのに適している。GLUEベンチマークとLong Range Arenaデータセットに関するいくつかの基準線と既存の研究に対するピラミッドBERTの利点を確立する広範な実験を提供した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 計算機網

, , , ,

前のページに戻る