効率的な整数-算術のみ畳込みニューラルネットワーク【JST・京大機械翻訳】

Zhao Hengrui; Liu Dong; Li Houqiang

プレプリント

J-GLOBAL ID：202202202299671123 整理番号：22P0161889

効率的な整数-算術のみ畳込みニューラルネットワーク【JST・京大機械翻訳】

Efficient Integer-Arithmetic-Only Convolutional Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年06月21日プレプリントサーバーでの情報更新日： 2020年06月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

整数アルゴリズムのみのネットワークが,計算コストを低減し,クロスプラットフォームの一貫性を確保するために有効であることを実証した。しかし,従来の研究は,通常,よく訓練された浮動小数(FPN)ネットワークを整数ネットワークに変換するときの推論精度の低下を報告している。この音素を解析し,その低下が活性化量子化によることを見出した。特に,従来のReLUとBounded ReLUとを置き換えると,各ニューロンに対する結合を設定する方法は重要な問題である。活性化量子化誤差とネットワーク学習能力の間のトレードオフを考慮して,著者らは,各々のBounded ReLUの結合を調整するための経験的規則を設定した。また,特徴マップ加算と特徴マップ連結の事例を扱う機構を設計した。提案方法に基づいて,著者らの訓練された8ビット整数ResNetは,画像認識のためにGoogleのTensorFlowとNVIDIAのTensorRTの8ビットネットワークより優れている。また,画像超解像のためのVDSRと圧縮アーチファクト低減のためのVRCNNに関する実験も行い,その両方は,自然的に高い推論精度を必要とする回帰タスクに役立つ。この整数ネットワークは,対応するFPNネットワークとして等価性能を達成したが,1/4メモリコストだけを持ち,最新のGPU上で2xを高速に実行できた。著者らのコードとモデルは,giub/HengRuiZ/breluで見つけることができる。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 数理計画法

, ,

前のページに戻る