文献

J-GLOBAL ID：201902241856056943   整理番号：19A1696655

演算精度を考慮したDNN設計フレームワークの開発

Deep Learning Framework with Numerical Precision

著者 (3件)： 木山真人 (熊本大) ,  尼崎太樹 (熊本大) ,  飯田全広 (熊本大)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 119  号： 18(RECONF2019 1-19)(Web)  ページ： 79-84 (WEB ONLY)  発行年： 2019年05月02日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ディープラーニングで用いられるモデルの重みの数は多く,モバイルデバイス上での使用は困難である.そのため,多くの手法が開発されており,量子化はその1つである.通常,ディープラーニングでは演算を32ビット演算精度の浮動小数点で行うが,量子化ではその精度を4ビットなどより少ないビット幅(演算精度)で演算を行い,メモリの軽量化を図る.しかし,従来手法では,ソフトウェア側で量子化したモデルのaccuracyとハードウェア側で実装したモデルのaccuracyに差がある,正規化する際にaccuracyが落ちるという問題がある.そこで本稿では,新たに実装した任意の演算精度を調査可能なフレームワークPyParchを開発し,また,正規化の必要を無くす,ハードウェアに適したモデルを学習する手法について提案する.計算機評価によって,従来手法より演算精度を削減した場合でも十分なaccuracyが得られることが確認できた.従来手法で量子化したモデルはaccuracyを回復するのに18ビット必要だったのに対し,本提案手法は14ビット幅とより少ないビット幅で高いaccuracyを得られた.(著者抄録)

シソーラス用語： *ニューラルネットワーク ,  機械学習 ,  *FPGA ,  精度 ,  量子化 ,  *フレームワーク【ソフトウェア開発】 ,  オブジェクト指向言語 ,  ソフトウェア
準シソーラス用語： Python ,  オープンソースソフトウェア ,  ディープニューラルネットワーク ,  ディープラーニング ,  データ精度

分類 (2件)： 汎用演算制御装置  (JC04020N) ,  人工知能  (JE08000Z)

引用文献 (17件)：

• Roman A. Solovyev,Alexandr A. Kalinin, Alexander G. Kustov, Dmitry V. Telpukhov, Vladimir S. Ruhlov, ′′FPGA Implementation of Convolutional Neural Networks with Fixed-Point Calculations′′, ′′http://arxiv.org/abs/1808.09945′′, Sep 2018
• Kaiyuan Guo, Shulin Zeng, Jincheng Yu, Yu Wang, Huazhong Yang, ′′A Survey of FPGA Based Neural Network Accelerator′′, ′′http://arxiv.org/abs/1712.08934′′, Dec 2017
• Jiantao Qiu, Jie Wang, Song Yao, Kaiyuan Guo, Boxun Li, et al, ′′Going Deeper with Embedded FPGA Platform for Convolutional Neural Network′′, In Proceedings of the 2016 ACM/SIGDA International Symposium on FieldProgrammable Gate Arrays. ACM, 26-35, Feb 2016
• Junsong Wang, Qiuwen Lou, Xiaofan Zhang, Chao Zhu, Yonghua Lin, Deming Chen, ′′A Design Flow of Accelerating Hybrid Extremely Low Bit-width Neural Network in Embedded FPGA′′, ′′http://arxiv.org/abs/1808.04311′′, Jul 2018
• Kaiyuan Guo, Lingzhi Sui, Jiantao Qiu, Jincheng Yu, Junbin Wang, Song Yao, Song Han, Yu Wang, Huazhong Yang, ′′Angel-Eye: A Complete Design Flow for Mapping CNN onto Embedded FPGA′′, IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, pp.35-47, May 2017

タイトルに関連する用語 (3件)： 設計 ,  フレームワーク ,  開発