適応活性化に基づく構造化枝刈り【JST・京大機械翻訳】

Zhao Kaiqi; Jain Animesh; Zhao Ming

プレプリント

J-GLOBAL ID：202202211380776370 整理番号：22P0279680

適応活性化に基づく構造化枝刈り【JST・京大機械翻訳】

Adaptive Activation-based Structured Pruning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月21日プレプリントサーバーでの情報更新日： 2023年03月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

プラニングは,資源制約付きエッジデバイスにそれらを展開するために,複雑な深層学習モデルを圧縮するための有望なアプローチである。しかしながら,多くの既存の剪定解は,非構造化剪定に基づいており,それは,商品ハードウェア上で効率的に実行できないモデルを生み出し,そして,ユーザを手動で探索し調整し,そして,時間がかかり,そして,しばしば,準最適結果をもたらす。これらの限界に対処するために,本論文では,ユーザ要求に適合する小型,正確,およびハードウェア効率の良いモデルを自動的にかつ効率的に生成するための適応,活性化ベース,構造化剪定手法を提案した。最初に,活性化ベースの注意特徴マップを用いて反復構造化剪定を提案して,ユニポータントフィルタを効果的に同定して,剪定した。次に,精度臨界,メモリ制約,および待ち時間に敏感なタスクの剪定目的を自動的に満たすための適応剪定ポリシーを提案する。包括的評価は,提案方法がCIFAR-10とImageNetデータセットに関する最先端の構造化剪定作業を実質的に凌ぐことができることを示した。例えば,CIFAR-10によるResNet-56において,精度低下なしで,著者らの方法は,最大パラメータ減少(79.11%)を達成して,関連した研究を22.81%から66.07%まで上回って,最大FLOP減少(70.13%)は,関連研究を14.13%から26.53%まで凌駕した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般

, , ,

前のページに戻る