文献

J-GLOBAL ID：201802244806682118   整理番号：18A2202280

CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化

Optimization of Numerical Expression in CNN using Genetic Algorithm

著者 (9件)： 野上和加奈 (産業技術総合研) ,  野上和加奈 (東大) ,  池上努 (産業技術総合研) ,  大内真一 (産業技術総合研) ,  高野了成 (産業技術総合研) ,  岸裕真 (産業技術総合研) ,  岸裕真 (東大) ,  工藤知宏 (東大) ,  工藤知宏 (産業技術総合研)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 118  号： 165(CPSY2018 13-32)(Web)  ページ： 193-198 (WEB ONLY)  発行年： 2018年07月23日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 畳み込みニューラルネットワーク(CNN)による画像認識の精度は年々向上しており,それに伴ってモデルはより複雑で大きなものになってきている。モデルサイズを削減するための工夫の一つとして数値表現のbit幅を削減する手法がある。これまで浮動小数点型・固定小数点型などを用いてbit幅を削減する取り組みが多く行われている。その目的は,(1)少ないbit幅による(2)容易な演算によって,(3)高い正解率を得ることである。演算の容易性を考えると浮動小数点型や固定小数点型を用いることは適切である。そこで我々は可変ビンサイズ量子化と呼ぶ手法を導入し,ビンサイズを遺伝的アルゴリズムを用いて最適化することでbit幅提言・正解率向上の観点から最適な数値表現を求める実験を行った。今回は推論時の学習済みパラメータの量子化を対象にした。結果として実験に用いたモデルに対して,固定小数点表現や浮動小数点表現を上回る正解率を出すことができる数値表現を求めることに成功した。その数値表現は比較的固定小数点型に近いものであった。また,この数値表現を用いることで正解率を低下させずに3bitまでbit幅を削減できることがわかった。(著者抄録)

シソーラス用語： *ニューラルネットワーク ,  画像認識 ,  量子化 ,  *遺伝的アルゴリズム ,  データフォーマット ,  最適化 ,  交差 ,  突然変異 ,  実験
準シソーラス用語： 畳込みニューラルネットワーク ,  浮動小数点 ,  数値実験

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (19件)：

• A. Krizhevsky, I. Sutskever and G. E. Hinton: “ImageNet classification with deep convolutional neural networks” (2012).
• C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke and A. Rabinovich: “Going Deeper with Convolutions” (2014).
• K. He, X. Zhang, S. Ren and J. Sun: “Deep Residual Learning for Image Recognition” (2015).
• J. Hu, L. Shen and G. Sun: “Squeeze-and-Excitation Networks” (2017).
• D. Miyashita, E. H. Lee and B. Murmann: “Convolutional Neural Networks using Logarithmic Data Representation” (2016).

タイトルに関連する用語 (4件)： CNN ,  数値表現 ,  遺伝的アルゴリズム ,  最適化