文献

J-GLOBAL ID：201902277693619713   整理番号：19A0773382

大規模メニーコアシステムOakforest-PACSにおけるディープラーニングの性能評価

著者 (3件)： 田村紘平 (東大 大学院工学系研究科) ,  塙敏博 (東大 情報基盤セ) ,  塙敏博 (東大 大学院工学系研究科)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2019  号： HPC-168  ページ： Vol.2019-HPC-168,No.26,1-8 (WEB ONLY)  発行年： 2019年02月26日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,深層学習のトレーニングにおいて,構成するネットワークが複雑になり,学習に用いるデータセットも増大していく中で,多数のGPUを搭載した大規模GPUクラスタによる高速な学習手法が提案されている.一方で,CPU中に多数のコアを搭載したメニーコアプロセッサも,ディープラーニングの基本演算に適したSIMD演算ユニットを備えており,これらを導入したクラスタを用いて大規模な学習環境が実現できる.本研究では,深層学習フレームワークであるChainerMNを,メニーコアプロセッサIntel Xeon Phiを搭載したOakforest-PACSに適用し,性能評価を行い,通信性能に関する高速化を実施した.その結果,従来の通信手法と比べて約2.1倍の高速化を達成した.(著者抄録)

シソーラス用語： *マイクロプロセッサ ,  *機械学習 ,  性能評価 ,  SIMD ,  専用プロセッサ ,  システムインタフェイス ,  通信特性 ,  並列処理 ,  分散処理 ,  フレームワーク【ソフトウェア開発】 ,  プロセス間交信 ,  ニューラルネットワーク ,  適応訓練
準シソーラス用語： *メニーコア・プロセッサ ,  *ディープラーニング ,  GPU【プロセッサ】 ,  通信性能 ,  MPI【インタフェイス】 ,  OpenMP ,  並列分散学習

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (17件)：

• Seiya Tokui, Kenta Oono, Shohei Hido, and Justin Clayton: “Chainer: a next-generation open source framework for deep learning”, NIPS, 2015
• T. Akiba, K. Fukuda, and S. Suzuki: ”ChainerMN: scalable distributed deep learning framework”, CoRR, abs/1710.11351, 2017
• N. S. Keskar, D. Mudigere, J. Nocedal, M. Smelyanskiy, and P. T. P. Tang: ”On large-batch training for deep learning: Gen- eralization gap and sharp minima”, ICLR, 2017
• K. He, X. Zhang, S. Ren and J. Sun.: ”Deep Residual Learning for Image Recognition”, CVPR, 2016.
• Goyal, P., Dollár, P., Girshick, R., et al: ”Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour”, arXiv preprint arXiv:1706.02677, 2017

タイトルに関連する用語 (4件)： 大規模 ,  PACS ,  ディープラーニング ,  性能評価