文献

J-GLOBAL ID：202102263545300533   整理番号：21A1957387

効率的推論のための完全精度ネットワークに近い低精度ネットワークの発見【JST・京大機械翻訳】

Discovering Low-Precision Networks Close to Full-Precision Networks for Efficient Inference

著者 (7件)： McKinstry Jeffrey L. (IBM Research) ,  Esser Steven K. (IBM Research) ,  Appuswamy Rathinakumar (IBM Research) ,  Bablani Deepika (IBM Research) ,  Arthur John V. (IBM Research) ,  Yildiz Izzet B. (IBM Research) ,  Modha Dharmendra S. (IBM Research)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： EMC2-NIPS  ページ： 6-9  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ユビキタス組込み深層ネットワーク推論の有望性を実現するためには,エネルギーと面積効率の限界を求めることが重要である。低精度ネットワークは,精度と共に二次的にエネルギーおよび面積スケールとして有望になる。ImageNet分類ベンチマーク上の完全精度バージョンの精度を適合または超える8および4ビットネットワークを示した。訓練中の量子化による勾配雑音は精度の低下とともに増大し,これを克服する方法を求めると仮定した。与えられた訓練誤差を達成するためにSGDによって要求される反復の数は,(a)最終からの初期解の距離と(b)勾配推定の最大分散の二乗に関係する。従って,事前訓練fp32ベースラインネットワークから出発して解距離を低減し,訓練中の重みと活性化を量子化し,学習速度を長くし,学習することにより,雑音を量子化した。感度解析は,活性化関数範囲キャリブレーションと結合したこれらの技術がfp32精度ベースラインネットワークに近い低精度ネットワークを発見するのに十分であることを示した。著者らの結果は,分類のための4ビットのサフスが証拠を与える。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 雑音 ,  量子化 ,  *ネットワーク ,  感度解析 ,  深層 ,  ベンチマーク
準シソーラス用語： 活性化関数 ,  学習速度 ,  面積効率 ,  ユビキタス ,  勾配推定 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (2件)： 推論 ,  発見