文献

J-GLOBAL ID：201802246073221761   整理番号：18A0656551

FPGA上の二値化ディープニューラルネットワークの閾値ニューロンプルーニング

A Threshold Neuron Pruning for a Binarized Deep Neural Network on an FPGA

著者 (3件)： FUJII Tomoya (Department of Information and Communications Engineering, Tokyo Institute of Technology) ,  SATO Shimpei (Department of Information and Communications Engineering, Tokyo Institute of Technology) ,  NAKAHARA Hiroki (Department of Information and Communications Engineering, Tokyo Institute of Technology)
資料名： IEICE Transactions on Information and Systems (Web)  (IEICE Transactions on Information and Systems (Web))
巻： E101.D  号： 2  ページ： 376-386(J-STAGE)  発行年： 2018年 
JST資料番号： U0469A  ISSN： 1745-1361  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： 組込みシステムのために予め訓練されたディープ畳込みニューラルネットワーク(CNN)のためには,高速で低消費電力が要求される。CNNの前者では,それは畳み込み層から成り,後者では完全接続層からなる。畳込み層では,多重積算動作はボトルネックであり,完全接続層ではメモリアクセスがボトルネックである。2値化CNNは,FPGA上に多数の積和回路を実現するために提案されており,畳込み層は高シード演算で行うことができる。しかし,完全接続層に2値化を適用しても,メモリの量は依然としてボトルネックである。本論文では,重みメモリの大部分を除去するニューロンプルーニング手法を提案し,二値化CNN上の完全接続層に適用する。その場合,重みメモリはFPGA上のオンチップメモリにより実現されるため,高速なメモリアクセスが可能となる。さらにメモリサイズを縮小するために,ニューロンプルーニング後のCNNの再学習を適用する。本論文では,二値化二次元畳込み層のためのストリーミング回路を提案しながら,二値化完全接続層のための順次入力並列出力完全接続層回路を提案する。実験結果は,ニューロンプルーニングによって,VGG-11 CNN上の完全に連結された層と同様に,99%のベースライン精度を維持しながらニューロンの数が39.8%減少したことを示した。XilinxのZynq ZedboardでニューロンプルーニングCNNを実装した。ARM Cortex-A57と比較して1773.0倍速く,消費電力は3.1倍,電力効率あたりの性能は5781.3倍向上した。また,Maxwell GPUと比較して11.1倍速く,消費電力が7.7倍,消費電力効率が84.1倍向上した。したがって,FPGA上の2進化されたCNNは組込みシステムに適している。(翻訳著者抄録)

シソーラス用語： *実装 ,  *変換 ,  *ニューラルネットワーク ,  *閾値 ,  *ニューロン ,  *アルゴリズム ,  記憶装置 ,  接続 ,  畳込み ,  学習 ,  消費電力 ,  電力効率 ,  組込みシステム ,  オンチップメモリ ,  *ディープニューラルネットワーク ,  メモリアクセス ,  *枝刈りアルゴリズム
準シソーラス用語： CNN ,  *FPGA実装 ,  *プルーニングアルゴリズム ,  *二値化 ,  再学習

著者キーワード (4件)： 機械学習 ,  深い学習 ,  枝刈り ,  FPGA

分類 (3件)： ディジタル計算機方式一般  (JC02010O) ,  集積回路一般  (NC03161C) ,  人工知能  (JE08000Z)

引用文献 (35件)：

• [1] S. Anwar, K. Hwang, and W. Sung, “Structured pruning of deep convolutional neural networks,” Computer Research Repository (CoRR), Dec., 2015. https://arxiv.org/ftp/arxiv/papers/1512/1512.08571.pdf
• [2] Caffe: Deep learning framework, http://caffe.berkeleyvision.org/
• [3] Chainer: A powerful, flexible, and intuitive framework of neural networks, http://chainer.org/
• [4] S. Chakradhar, M. Sankaradas, V. Jakkula, and S. Cadambi, “A dynamically configurable coprocessor for convolutional neural networks,” Annual Int'l Symp. on Computer Architecture (ISCA), pp.247-257, 2010. 10.1145/1815961.1815993
• [5] The CIFAR-10 data set, http://www.cs.toronto.edu/~kriz/cifar.html

タイトルに関連する用語 (4件)： FPGA ,  二値化 ,  ディープニューラルネットワーク ,  閾値