文献

J-GLOBAL ID：201802279006502398   整理番号：18A0704401

CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討

A Study of Kernel Clustering for Reducing Memory Footprint of CNN

著者 (6件)： 松井優樹 (電通大) ,  三輪忍 (電通大) ,  進藤智司 (名古屋工大) ,  津邑公暁 (名古屋工大) ,  八巻隼人 (電通大) ,  本多弘樹 (電通大)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 117  号： 480(DC2017 89-106)  ページ： 185-190  発行年： 2018年02月28日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,機械学習の中でも畳み込みニューラル・ネットワーク(CNN)が高い認識精度を示すことから,大きな注目を集めている。CNNは深層ニューラル・ネットワークであり,規模が大きくパラメータ数も多いことが問題としてあげられる。そのため,個々のパラメータに着目したデータ圧縮手法など,ネットワーク規模を縮小する研究が行われている。しかしながら,CNN特有の重み(カーネル)構造の類似性に着目したデータ圧縮手法は報告されていない。そこで我々は,CNN計算におけるカーネルの構造的意味を持つ最小の単位である2次元カーネルの類似性に着目し,クラスタリングと近似を行うことによりCNN計算の省メモリ化を行う手法を提案している。我々の過去の報告では,少ないカーネル数のCNNに対して少ないクラスタ数でクラスタリングを行った際の提案手法の有効性を示したが,本報告では,より大規模なCNNに対して様々なクラスタ数でクラスタリングを行った際の結果を示す。VGG-16の全カーネルに対して本手法を適用した結果,最大で85.6%のカーネルデータを削減しても認識精度を80%以上に保つことができた。本提案手法はPruningや量子化と直交した技術であり,これらを併用することでさらなるデータ圧縮が可能である。(著者抄録)

シソーラス用語： *ニューラルネットワーク ,  記憶装置 ,  *クラスタ化 ,  精度 ,  機械学習 ,  *データ圧縮 ,  類似性 ,  近似法 ,  量子化 ,  *畳込みニューラルネットワーク ,  *改変
準シソーラス用語： *CNN ,  メモリ ,  *クラスタリング ,  認識精度 ,  近似

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (8件)：

• 進藤,智司,松井,優樹,八巻,隼人,津邑,公暁,三輪,忍,高電力効率なCNNアクセラレータ実現に向けたカーネルクラスタリングの応用の検討,2017-ARC227,No.15,pp.1-9,2017
• Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proc. of the IEEE, pages 2278-2324, 1998.
• C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, Going deeper with convolutions. arXiv preprint arXiv: 1409.4842, 2014
• S. Liu and W. Deng, Very deep convolutional neural network based image classification using small training sample size, ACPR, Kuala Lumpur, pp. 730-734, 2015.
• J. Sietsma and R. J. F. Dow, Neural net pruning-why and how, IEEE 1988 International Conference on Neural Networks, San Diego, CA, USA, 1988, pp. 325-333 vol.1.

タイトルに関連する用語 (4件)： CNN ,  計算 ,  カーネル ,  クラスタリング手法