ネットワーク枝刈りと知識蒸留のための新しいアーキテクチャスリム化法【JST・京大機械翻訳】

Wang Dongqi; Zhang Shengyu; Di Zhipeng; Lin Xin; Zhou Weihua; Wu Fei

プレプリント

J-GLOBAL ID：202202201636418927 整理番号：22P0293073

ネットワーク枝刈りと知識蒸留のための新しいアーキテクチャスリム化法【JST・京大機械翻訳】

A Novel Architecture Slimming Method for Network Pruning and Knowledge Distillation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年02月21日プレプリントサーバーでの情報更新日： 2022年02月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ネットワーク剪定と知識蒸留は,計算コストとモデルサイズを効率的に低減する2つの広く知られているモデル圧縮法である。剪定と蒸留の両方における共通の問題は,元のモデル容量の大部分を保存するために,圧縮アーキテクチャ,即ち,層当りのフィルタの正確な数,および層構成を決定することである。既存の研究の大きな進歩にもかかわらず,優れたアーキテクチャの決定は,まだ人間の干渉または大きな実験を必要とする。本論文では,層構成プロセスを自動化するアーキテクチャスリミング法を提案した。過パラメータ化モデルの容量は,層当りの最大パラメータ分散を保存するフィルタの最小数を見つけることにより大きく保存でき,薄いアーキテクチャをもたらすという展望から始めた。1段階直交線形変換として圧縮アーキテクチャの決定を定式化し,第一原理成分解析(PCA)を統合し,そこでは最初のいくつかの射影におけるフィルタの分散を最大化する。この解析の合理性と広範な実験を通して提案した方法の有効性を実証した。特に,同じ全体圧縮速度の下で,この方法によって決定された圧縮アーキテクチャは,剪定と蒸留後のベースラインを超える顕著な性能利得を示す。驚くべきことに,得られた層ごとの圧縮速度は,膨大な実験を通して既存の研究で見いだされた層感度に対応することを見出した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

計算機網 , 電話・データ通信・交換一般 , 光通信方式・機器

, ,

前のページに戻る