トレーニングフリー変圧器アーキテクチャ探索【JST・京大機械翻訳】

Zhou Qinqin; Sheng Kekai; Zheng Xiawu; Li Ke; Sun Xing; Tian Yonghong; Chen Jie; Ji Rongrong

プレプリント

J-GLOBAL ID：202202202062603816 整理番号：22P0308867

トレーニングフリー変圧器アーキテクチャ探索【JST・京大機械翻訳】

Training-free Transformer Architecture Search

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月23日プレプリントサーバーでの情報更新日： 2022年03月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

近年,ビジョン変換機(ViT)はいくつかのコンピュータビジョンタスクにおいて顕著な成功を達成した。進歩はアーキテクチャ設計に高度に関連し,次に,より良いVitsを自動的に探索するために,変換器アーキテクチャ検索(TAS)を提案する価値がある。しかしながら,現在のTAS法は,時間消費であり,CNNにおける既存のゼロコストプロキシは,著者らの実験観察に従って,ViT探索空間によく一般化しない。本論文では,初めて,訓練フリー方法でTASを行う方法を検討し,効果的な訓練フリーTAS(TF-TAS)方式を考案した。最初に,著者らはVitsにおけるマルチヘッド自己注意(MSA)と多層パーセプトロン(MLP)の特性が全く異なり,MSAのシナプス多様性が性能に著しく影響を及ぼすことを観察した。第2に,観察に基づき,著者らは,2つの理論的展望からViTアーキテクチャを評価し,ランク付けするTF-TASにおけるモジュール戦略を考案した:DSS-インジケータと呼ばれるシナプス多様性とシナプス顕著性。DSS指標により,評価結果はViTモデルの試験精度と強く相関した。実験結果は,著者らのTF-TASが最先端の手動または自動設計ViTアーキテクチャに対して競合性能を達成し,ViT探索空間における検索効率を大きく促進することを示した:約24GPU日から0.5GPU日未満。さらに,提案したDSS指標は既存の切削エッジゼロコスト手法(例えばTEスコアとNASWOT)よりも性能が優れている。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る