空間間枝刈り:スパースCNNの訓練を改善するための適応フィルタ表現の利用【JST・京大機械翻訳】

Wimmer Paul; Mehnert Jens; Condurache Alexandru Paul

プレプリント

J-GLOBAL ID：202202210500436157 整理番号：22P0304458

空間間枝刈り:スパースCNNの訓練を改善するための適応フィルタ表現の利用【JST・京大機械翻訳】

Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

非構造化剪定は,訓練と推論時間の両方で畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している。CNNはK×Kフィルタに配列したパラメータを含む。標準非構造化剪定(SP)はフィルタ要素をゼロに設定することによってCNNのメモリフットプリントを低減し,それによってフィルタを制約する固定部分空間を指定する。特に,訓練前または訓練中に枝刈りを適用すると,これは強いバイアスを誘発する。これを克服するために,既存の剪定法を改善する一般的なツールである空間間枝刈り(IP)を導入した。それは,基礎となる適応フィルタ基底(FB)の線形結合によって動的空間で表されるフィルタを使用する。IPに対して,FB係数をゼロに設定し,一方,非実行係数とFBを一緒に訓練した。本研究では,IPの優れた性能に対する数学的証拠を提供し,IPが全ての試験した最先端の非構造化剪定法においてSPより優れていることを実証した。特に,ImageNetの剪定や高スパース性への剪定のような困難な状況において,IPは等しい実行時間とパラメータコストでSPを大きく超える。最後に,IPの進歩は,改善された訓練性と優れた一般化能力によることを示した。【JST・京大機械翻訳】

, , , , , ,
, , , , , , 【Automatic Indexing@JST】

ディジタルフィルタ

, , , ,

前のページに戻る