CNN(畳込みニューラルネットワーク)圧縮のための変換量子化【JST・京大機械翻訳】

Young Sean I.; Zhe Wang; Taubman David; Girod Bernd

プレプリント

J-GLOBAL ID：202202209906877865 整理番号：21P0046922

CNN(畳込みニューラルネットワーク)圧縮のための変換量子化【JST・京大機械翻訳】

Transform Quantization for CNN (Convolutional Neural Network) Compression

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年09月02日プレプリントサーバーでの情報更新日： 2021年11月07日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

本論文では,変換量子化による畳込みニューラルネットワーク(CNN)重みポストトレーニングを圧縮した。以前のCNN量子化技術は,重みと活性化の関節統計を無視する傾向があり,与えられた量子化ビットレートで準最適CNN性能を生み出し,訓練中のそれらの結合統計量を考慮し,既に訓練されたCNNモデルの効率的な圧縮を促進しなかった。任意の量子化ビットレートで圧縮を改善するために,速度歪フレームワークを用いて,重みポストトレーニングを最適に変換(デコレート)し量子化する。変換量子化は,CNNの低いビットレート圧縮と変換ドメインにおける効率的推論を容易にするために,単一フレームワークにおける量子化と次元縮小(相関)技術を統一する。最初に,CNN量子化のための速度と歪みの理論を導入し,レート歪最適化問題として最適量子化を課した。次に,この問題は,本論文で導いた最適エンドツーエンド学習変換(ELT)による相関に従って,最適ビット深さ割当を用いて解くことができることを示す。実験は,変換量子化が,再訓練および非再訓練量子化シナリオの両方においてCNN圧縮における最先端技術を前進させることを示した。特に,再訓練による変換量子化は,AlexNet,ResNetおよび高密度NetのようなCNNモデルを非常に低いビットレート(1~2ビット)に圧縮できることを見出した。【JST・京大機械翻訳】

, , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る