Lite TransformerSearch:効率的な言語モデルのためのトレーニングフリーニューラルアーキテクチャ探索【JST・京大機械翻訳】

Javaheripi Mojan; de Rosa Gustavo H.; Mukherjee Subhabrata; Shah Shital; Religa Tomasz L.; Mendes Caio C. T.; Bubeck Sebastien; Koushanfar Farinaz; Dey Debadeepta

プレプリント

J-GLOBAL ID：202202217417702753 整理番号：22P0298744

Lite TransformerSearch:効率的な言語モデルのためのトレーニングフリーニューラルアーキテクチャ探索【JST・京大機械翻訳】

LiteTransformerSearch: Training-free Neural Architecture Search for Efficient Language Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (9件)： , , , , , , , ,
資料名：
発行年： 2022年03月03日プレプリントサーバーでの情報更新日： 2022年10月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

変換器アーキテクチャは大規模自己回帰言語モデルのビルディングブロックとして偏在的に使用されている。しかし,タスクパフォーマンス(パープレックス)とピークメモリ利用と待ち時間のようなハードウェア制約の間の最適トレードオフを有するアーキテクチャを見つけることは,自明でない。これは様々なハードウェアの増殖により悪化する。著者らは,自己回帰変換器における復号器パラメータの数が,アーキテクチャトポロジーに関係なく,タスク性能と高いランク相関を持つという,いくつかの驚くべき経験的観察を利用した。この観測は,任意のモデル訓練を必要とせずに,パープレックスのプロキシとして復号器パラメータを使用する単純なニューラルアーキテクチャ検索(NAS)アルゴリズムを誘導する。著者らの訓練フリーアルゴリズムの検索フェーズ,dubbed Lightweight Transformer Search(LTS)は,GPUを必要としないので,ターゲットデバイス上で直接実行することができる。ターゲット-デバイス測定を用いて,LTSは,任意のハードウェア性能コストに対して,パープレックスのパレートフロンティアを抽出する。ARM CPUsからNVIDIA GPUsと2つの一般的な自己回帰変換バックボーン:GPT-2と変換器-XLの多様なデバイスに関するLTSを評価した。結果は,16層GPT-2と変換器-XLのパープレックスが,1.5x,2.5x高速ランタイムと1.2x,2.0x低いピークメモリ利用で達成できることを示した。ゼロとワンショット設定で評価した場合,LTSパレートフロントモデルは,1.6xより低い待ち時間で,350MのパラメータOPTと比較して,より高い平均精度を達成した。LTSは,商品ラップトップで走行しながら,3時間以内でパレートフロントを抽出する。探索中の訓練の数百GPU時間のカーボンフットプリントを効果的に除去し,自己回帰言語モデリングにおける将来のNAS法に対する強い簡単なベースラインを提供した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

符号理論

前のページに戻る