ネットワーク枝刈りのためのフィルタスケッチ【JST・京大機械翻訳】

Lin Mingbao; Cao Liujuan; Li Shaojie; Ye Qixiang; Tian Yonghong; Liu Jianzhuang; Tian Qi; Ji Rongrong

プレプリント

J-GLOBAL ID：202202212495529721 整理番号：21P0023056

ネットワーク枝刈りのためのフィルタスケッチ【JST・京大機械翻訳】

Filter Sketch for Network Pruning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2020年01月23日プレプリントサーバーでの情報更新日： 2021年05月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練ネットワーク重み(フィルタ)の情報保存による新しいネットワーク剪定手法を提案した。情報保存によるネットワーク剪定を,マトリックススケッチ問題として定式化し,それは,オフラインの頻出方向方式によって効率的に解決する。フィルタSketchと呼ばれる提案アプローチは,事前訓練された重みの二次情報を符号化し,単純な微調整手順で回復する枝刈りネットワークの表現能力を可能にした。フィルタSketchは,スクラッチやデータ駆動反復最適化からの訓練を必要とせず,剪定の最適化における時間コストの幾つかの次数低減につながる。CIFAR-10に関する実験は,フィルタSketchがFLOPの63.3%を減少して,ResNet-110のための無視できる精度コストでネットワークパラメータの59.9%を剪定することを示した。ILSVRC-2012において,それはFLOPの45.5%を減少して,ResNet-50のためにわずか0.69%の精度低下によって,43.0%のパラメータを除去した。著者らのコードと剪定モデルをhttps://github.com/lmbxmu/FilterSketchで見つけることができる。【JST・京大機械翻訳】

, , , ,
, , , , , , 【Automatic Indexing@JST】

計算機網 , ニューロコンピュータ , 人工知能 , 移動通信

前のページに戻る