文献

J-GLOBAL ID：201702244393581717   整理番号：17A0243040

畳込みニューラルネットワークのニューロン刈りによるメモリ量削減とFPGA実現について

A Memory Reduction with Neuron Pruning for a Convolutional Neural Network: Its FPGA Realization

著者 (4件)： 藤井智也 (東京工大) ,  佐藤真平 (東京工大) ,  中原啓貴 (東京工大) ,  本村真人 (北大 大学院情報科学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 116  号： 415(VLD2016 70-101)  ページ： 55-60  発行年： 2017年01月16日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 画像識別等の組込み機器では学習済み深層畳み込みニューラルネットワーク(CNN:Deep Convolutional Neural Network)の識別高速化と低消費電力化が求められている。一般的なCNNは前半部が畳込み層,後半部がフル結合層で構成されている。先行研究より,畳込み層では積和演算部がボトルネックであり,フル結合層ではメモリアクセスがボトルネックである。本論文では,フル結合層ではニューロンを刈ることで,重みを格納したメモリを削減し,フル結合層のメモリアクセスを高速化する。従って,FPGAのオンチップメモリ上にフル結合層の重みを全て格納でき,メモリアクセス問題を解決できる。また,本論文ではFPGAのオンチップメモリと組み合わせた高速なフル結合層回路を提案する。提案する閾値ニューロン刈りにより,元の認識精度に対して99%同等な場合はVGG-11におけるフル結合層のニューロンを76.4%削減でき,95%認識精度を許容できればニューロン数を91.7%削減できた。ニューロン刈りを行ったフル結合層をDigilent社NetFPGA-1G-CMLボードに実装し,ARMプロセッサ(CPU),Jetson TK1(GPU)と比較を行った結果,遅延時間に関してはFPGAはCPUよりも219.0倍高速であり,GPUよりも12.5倍高速であった。また,消費電力性能効率(Performance/Power)に関してはCPUよりも87.69倍優れており,GPUよりも12.51倍優れていた。(著者抄録)

シソーラス用語： *ニューロン ,  *記憶容量 ,  *減少 ,  *剪定 ,  *実装 ,  画像認識 ,  装置 ,  *ニューラルネットワーク ,  学習 ,  接続 ,  FPGA ,  記憶装置 ,  時間 ,  消費電力 ,  マイクロプロセッサ ,  専用プロセッサ ,  *畳込みニューラルネットワーク ,  ディープニューラルネットワーク ,  メモリアクセス ,  オンチップメモリ ,  GPU【プロセッサ】
準シソーラス用語： *FPGA実装 ,  組込み機器 ,  遅延時間

分類 (4件)： 半導体集積回路  (NC03162T) ,  人工知能  (JE08000Z) ,  パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I)

引用文献 (20件)：

• S. Anwar, K. Hwang and W. Sung, “Structured pruning of deep convolutional neural networks,” Computer Research Repository (CoRR), Dec., 2015. https://arxiv.org/ftp/arxiv/papers/1512/1512.08571.pdf
• Caffe: Deep learning framework, http://caffe.berkeleyvision.org/
• Chainer: A powerful, flexible, and intuitive framework of neural networks, http://chainer.org/
• S. Chakradhar, M. Sankaradas, V. Jakkula and S. Cadambi, “A dynamically configurable coprocessor for convolutional neural networks,” Annual Int'l Symp. on Computer Architecture (ISCA), 2010, pp.247-257.
• The CIFAR-10 data set, http://www.cs.toronto.edu/kriz/cifar.html

タイトルに関連する用語 (3件)： 畳込みニューラルネットワーク ,  ニューロン ,  FPGA