文献

J-GLOBAL ID：201702214557134609   整理番号：17A0689806

対数量子化による深層ニューラルネットワークのメモリ量削減

著者 (9件)： 廣瀬一俊 (北大 大学院情報科学研究科) ,  植松瞭太 (北大 大学院情報科学研究科) ,  安藤洸太 (北大 大学院情報科学研究科) ,  折茂健太郎 (北大 大学院情報科学研究科) ,  植吉晃大 (北大 大学院情報科学研究科) ,  高前田伸也 (北大 大学院情報科学研究科) ,  池辺将之 (北大 大学院情報科学研究科) ,  浅井哲也 (北大 大学院情報科学研究科) ,  本村真人 (北大 大学院情報科学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 117  号： 44(CPSY2017 1-15)  ページ： 39-44  発行年： 2017年05月15日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 深層ニューラルネットワーク(DNN)の学習は多くのメモリを使用する。システムで利用可能なメモリ量が学習可能なネットワークの大きさを制限するため,消費メモリ量の削減が必要である。本研究ではデータ表現形式の最適化による学習時のメモリ量の削減方式を提案する。学習時に出現する勾配は0付近の値が多いため,数値を対数表現する対数量子化と呼ばれる手法を用いてそれぞれの値を表現するのに必要なビット量を削減する。DNNフレームワークChainerを用いて識別精度およびメモリ量を評価した。対数量子化適用による認識精度に対する影響,及びメモリ量を評価した。その結果,学習時に対数量子化適用による認識精度の低下は少なく,消費メモリ量は約60%削減できることが明らかになった。(著者抄録)

シソーラス用語： *ニューラルネットワーク ,  *記憶容量 ,  *量子化 ,  *機械学習 ,  勾配 ,  フレームワーク【ソフトウェア開発】 ,  性能評価 ,  アルゴリズム ,  近似法 ,  二値論理 ,  対数
準シソーラス用語： メモリ量 ,  対数量子化 ,  深層学習 ,  誤差逆伝搬法 ,  BinaryNet

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (14件)：

• M. Courbariaux, I. Hubara, D. Soudry, R. El-Yaniv, and Y. Bengio. Binarized Neural Networks: Training Deep Neu-ral Networks with Weights and Activations Constrained to +1 or -1. ArXiv e-prints, February 2016.
• S. Han, H. Mao, and W. J. Dally. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. ArXiv e-prints, Octo-ber 2015.
• Song Han, Xingyu Liu, Huizi Mao, Jing Pu, Ardavan Pe-dram, Mark A. Horowitz, and William J. Dally. EIE: effi-cient inference engine on compressed deep neural network. CoRR, Vol. abs/1602.01528, 2016.
• K. He, X. Zhang, S. Ren, and J. Sun. Deep Residual Learn-ing for Image Recognition. ArXiv e-prints, December 2015.
• I. Hubara, M. Courbariaux, D. Soudry, R. El-Yaniv, and Y. Bengio. Quantized Neural Networks: Training Neu-ral Networks with Low Precision Weights and Activations. ArXiv e-prints, September 2016.

タイトルに関連する用語 (2件)： 対数量子化 ,  深層ニューラルネットワーク