E-LANG:スーパーおよびスウィフト言語モデルのエネルギーベースジョイント推論【JST・京大機械翻訳】

Akbari Mohammad; Banitalebi-Dehkordi Amin; Zhang Yong

プレプリント

J-GLOBAL ID：202202201749357797 整理番号：22P0297398

E-LANG:スーパーおよびスウィフト言語モデルのエネルギーベースジョイント推論【JST・京大機械翻訳】

E-LANG: Energy-Based Joint Inferencing of Super and Swift Language Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月01日プレプリントサーバーでの情報更新日： 2022年03月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

巨大で高能力の言語モデルの構築は,過去数年の動向である。それらの大きな性能にもかかわらず,それらは高い計算コストを生じている。一般的な解決策は,モデル圧縮の適用,あるいは軽量アーキテクチャの選択であり,しばしば,各望ましい計算予算に対する別々の固定サイズモデルを必要とし,重圧縮の場合の性能を失う可能性がある。本論文では,大きな正確なスーパーモデルと軽量Swiftモデルの間の推論を配布するE-LANGと呼ばれる効果的な動的推論手法を提案した。この目的のために,意思決定モジュールは,潜在空間における表現のエネルギー特性に基づくSuperまたはSwiftモデルに入力を課す。この方法は,容易に採用可能で,構造診断である。このように,それは,建築操作,モジュールの再組立,または再訓練の必要のないブラックボックス事前訓練モデルに適用することができる。符号器のみのバックボーンと分類タスクにのみ適用可能な既存の方法とは異なり,この方法は符号器デコーダ構造や翻訳のようなシーケンスツーシーケンスタスクに対しても機能する。E-LANG性能を,GLUE,SuperGLUEおよびWMT上のT5およびBERTバックボーンによる一連の実験を通して検証した。特に,GLUEで3.3×,SuperGLUEで2.9×の平均計算速度を持つT5-11Bを凌駕した。また,3.2×少ない計算でGLUE上でBERTベースのSOTAを達成した。コードとデモは補足材料で利用可能である。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る