アダプタ  変圧器におけるアダプタの効率について【JST・京大機械翻訳】

Rueckle Andreas; Geigle Gregor; Glockner Max; Beck Tilman; Pfeiffer Jonas; Reimers Nils; Gurevych Iryna

プレプリント

J-GLOBAL ID：202202205992802109 整理番号：21P0056212

アダプタ変圧器におけるアダプタの効率について【JST・京大機械翻訳】

AdapterDrop: On the Efficiency of Adapters in Transformers

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2020年10月22日プレプリントサーバーでの情報更新日： 2021年10月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

質量的に事前訓練された変圧器モデルは,微調整のために計算的に高価であり,推論を遅くし,大きな貯蔵要求を持つ。最近のアプローチでは,モデルサイズを動的に減らし,軽量アダプタを訓練することにより,より小さなモデルを訓練することにより,これらの欠点に取り組む。本論文では,AdapterDropを提案し,訓練と推論の間,低変圧器層からアダプタを除去し,全ての3方向から概念を組み込んだ。著者らは,AdapterDropが,タスク性能の最小減少と同時に,複数のタスクに対して推論を行うとき,計算オーバヘッドを動的に低減できることを示した。さらに,AdapterFusionからアダプターを剪定し,タスク性能を完全に維持しながら推論効率を改善した。【JST・京大機械翻訳】

,
, 【Automatic Indexing@JST】

変圧器

前のページに戻る

アダプタ 変圧器におけるアダプタの効率について【JST・京大機械翻訳】

アダプタ変圧器におけるアダプタの効率について【JST・京大機械翻訳】