文献
J-GLOBAL ID:201702288295707908   整理番号:17A0903216

動的なプロセス数操作による分散深層学習の耐故障性と性能評価

著者 (5件):
資料名:
巻: 2017  号: HPC-160  ページ: Vol.2017-HPC-160,No.9,1-7 (WEB ONLY)  発行年: 2017年07月19日 
JST資料番号: U0451A  資料種別: 会議録 (C)
記事区分: 原著論文  発行国: 日本 (JPN)  言語: 日本語 (JA)
抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
深層学習はその認識精度の高さから研究開発が盛んに行われており,実社会においても深層学習を取り入れた応用技術を目にすることができる。深層学習では十分な認識精度を得るまでに,大量のデータとGPUなどを用いた長時間の計算が必要となる。そのためHPCクラスタなどの高性能計算機での分散処理が利用される。分散システムでは故障発生間隔が短くなる傾向があり,アプリケーションの計算を正しく継続させるために耐故障性の手法が必要になる。本研究では大規模システム上の深層学習において重要になる耐故障性に対して,既存のcheckpoint/restartでない新たな手法detect/respawnを提案し,これをULFM-MPIによって実装した。SPRINTと呼ばれる分散深層学習アプリケーションを用いてTSUBAME-KFCの16ノード(128GPU)上で提案手法と既存手法を比較したところ,10時間の学習において提案手法が2.5%低いエラー率となり,より高い認識精度を達成することができた。(著者抄録)
シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。

準シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。

分類 (3件):
分類
JSTが定めた文献の分類名称とコードです
人工知能  ,  計算機システム運用管理  ,  ディジタル計算機方式一般 
引用文献 (11件):
  • Krizhevsky, A., Sutskever, I. and Hinton, G. E.: Imagenet classification with deep convolutional neural networks, Advances in Neural Information Processing Systems, p. 2012.
  • Amodei, D., Ananthanarayanan, S., Anubhai, R., Bai, J., Battenberg, E., Case, C., Casper, J., Catanzaro, B., Cheng, Q., Chen, G., Chen, J., Chen, J., Chen, Z., Chrzanowski, M., Coates, A., Diamos, G., Ding, K., Du, N., Elsen, E., Engel, J., Fang, W., Fan, L., Fougner, C., Gao, L., Gong, C., Hannun, A., Han, T., Johannes, L., Jiang, B., Ju, C., Jun, B., LeGresley, P., Lin, L., Liu, J., Liu, Y., Li, W., Li, X., Ma, D., Narang, S., Ng, A., Ozair, S., Peng, Y., Prenger, R., Qian, S., Quan, Z., Raiman, J., Rao, V., Satheesh, S., Seetapun, D., Sengupta, S., Srinet, K., Sriram, A., Tang, H., Tang, L., Wang, C., Wang, J., Wang, K., Wang, Y., Wang, Z., Wang, Z., Wu, S., Wei, L., Xiao, B., Xie, W., Xie, Y., Yogatama, D., Yuan, B., Zhan, J. and Zhu, Z.: Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin, Proceedings of The 33rd International Conference on Machine Learning (Balcan, M. F. and Weinberger, K. Q., eds.), Proceedings of Machine Learning Research, Vol. 48, New York, New York, USA, PMLR, pp. 173-182 (online), available from <http://proceedings.mlr.press/v48/amodei16.html> (2016).
  • 麻生英樹,安田宗樹,前田新一,岡野原大輔,岡谷貴之, 久保陽太郎,Bollegala, D.:深層学習 Deep Learning, 近代科学社 (2015).
  • Forum, M. P. I.: MPI: a Message-passing Interface Standard: Version 3.1, High-Performance Computing Center (2015).
  • Fox, J., Zou, Y. and Qiu, J.: Software Frameworks for Deep Learning at Scale, Internal Indiana University Technical Report (2016).
もっと見る
タイトルに関連する用語 (4件):
タイトルに関連する用語
J-GLOBALで独自に切り出した文献タイトルの用語をもとにしたキーワードです

前のページに戻る