文献

J-GLOBAL ID：201702290062676736   整理番号：17A0690309

ディープラーニングのデータ並列学習における少精度浮動小数点数を用いた通信量の削減

著者 (4件)： 大山洋介 (東京工大) ,  野村哲弘 (東京工大) ,  佐藤育郎 (デンソーアイティーラボラトリ) ,  松岡聡 (東京工大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2017  号： HPC-158  ページ： Vol.2017-HPC-158,No.30,1-10 (WEB ONLY)  発行年： 2017年03月01日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： Deep Neural Networkを用いた学習手法であるディープラーニングは他の機械学習手法と比較して高い認識精度を発揮することから近年非常に重要視されている。一方でディープラーニングはネットワークの計算量や学習に使用するデータ量が膨大であることからGPUクラスタを用いた場合でも学習に非常に長い時間を要する。また,特にパラメータ数が多いネットワークを一定のミニバッチサイズで学習する場合は勾配のGPU間・ノード間通信がスケーラビリティのボトルネックとなり,現存するGPUスパコンで利用可能な並列数よりもはるかに小さな規模でしか学習できないことが指摘されている。本論文では単精度よりも更にbit数の少ない浮動小数点数型を用いた通信量の削減手法を提案する。提案手法では通信するデータを半精度浮動小数点数の上位8bitにより表現し,レイヤーごとに動的に表現範囲を調整することにより高速かつ単精度と比較して学習後の認識精度を大きく損なわない通信を実現する。提案手法はTSUBAME-KFC/DLの2ノード(16GPU)を用いたCaffeNetとGoogLeNetの学習において,既存の単精度浮動小数点型を用いる場合と比較して認識精度を損なわずにそれぞれ2.71倍,2.19倍の高速化を達成した。(著者抄録)

シソーラス用語： *機械学習 ,  ニューラルネットワーク ,  並列処理 ,  浮動小数点演算 ,  *高速計算 ,  専用プロセッサ ,  *深層学習 ,  GPU【プロセッサ】

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (28件)：

• He, K., Zhang, X., Ren, S. and Sun, J.: Delving Deep into Rectifiers: Surpassing HumanLevel Performance on ImageNet Classification, CoRR, Vol. abs/1502.01852 (online), available from <http://arxiv.org/abs/1502.01852> (2015).
• Amodei, D., Anubhai, R., Battenberg, E., Case, C., Casper, J., Catanzaro, B., Chen, J., Chrzanowski, M., Coates, A., Diamos, G., Elsen, E., Engel, J., Fan, L., Fougner, C., Han, T., Hannun, A., Jun, B., LeGresley, P., Lin, L., Narang, S., Ng, A., Ozair, S., Prenger, R., Raiman, J., Satheesh, S., Seetapun, D., Sengupta, S., Wang, Y., Wang, Z., Wang, C., Xiao, B., Yogatama, D., Zhan, J. and Zhu, Z.: Deep Speech 2: End-to-End Speech Recognition in English and Mandarin, ArXiv eprints (2015).
• Simonyan, K. and Zisserman, A.: Very Deep Convolutional Networks for Large-Scale Image Recognition, CoRR, Vol. abs/1409.1556 (online), available from <http://arxiv.org/abs/1409.1556> (2014).
• Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25 (Pereira, F., Burges, C., Bottou, L. and Weinberger, K., eds.), Curran Associates, Inc., pp. 1097-1105 (online), available from <http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf> (2012).
• Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V. and Rabinovich, A.: Going Deeper With Convolutions, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2015).

タイトルに関連する用語 (5件)： ディープラーニング ,  データ並列 ,  学習 ,  浮動小数点 ,  通信量