文献

J-GLOBAL ID：202302254641644362   整理番号：23A0799606

Cerebras CS-2を用いたリダクション処理の実装と性能評価

著者 (2件)： 福岡伶音 (明治大 理工) ,  宮島敬明 (明治大 理工)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2023  号： HPC-188  ページ： Vol.2023-HPC-188,No.10,1-8 (WEB ONLY)  発行年： 2023年03月09日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年の計算機は演算性能が向上しているが,Byte/Flops値で表されるメモリ帯域と演算性能の比率は悪化し続けており,増大する消費電力も性能向上の阻害要因となっている。また,マルチノード環境では演算に比べて非常に長いノード間通信がボトルネックになり,スケーリングが問題となっている。この様な計算機システムで高い性能を達成するには,アプリケーションとシステムへの深い知識と高いプログラミング能力が求められる。これらの問題を解決すべく開発されたCerebras CS-2システムは,749,715個のプロセッシング・エレメントを持つ世界最大のチップWafer Scale Engine-2を搭載する高性能計算および深層学習向けのアクセラレータである。本研究の最終目的は,大規模な科学技術計算へのCS-2の適用可能性を理解することである。本稿では,STREAMベンチマークを模した指標を用いてCS-2実機の演算性能とメモリバンド幅の測定ならびに消費電力の評価と,リダクションの性能モデル作成と全系での性能評価について述べる。全系の実効演算性能は半精度/単精度浮動小数演算で最大2.98/1.02PFlopsを,メモリバンド幅はそれぞれ最大8.94/8.93PB/sを達成し,その際の消費電力は16.40kWであった。(著者抄録)

シソーラス用語： *ベンチマーク ,  *データ処理システム ,  *次元縮小 ,  *アクセラレータ
準シソーラス用語： *Cerebras CS-2 ,  STREAM ,  WSE-2 ,  ウェハースケールCPU ,  *リダクション演算 ,  超高速ディープラーニングシステム

分類 (1件)： 専用演算制御装置  (JC04030Y)

引用文献 (15件)：

• Y. Hirokawa, T. Boku, M. Uemoto, S. A. Sato and K. Yabana: “Performance optimization and evaluation of scalable optoelectronics application on large scale knl cluster”, High Performance Computing (Eds. by R. Yokota, M. Weiland, D. Keyes and C. Trinitis), Cham, Springer International Publishing, pp. 205-225 (2018).
• T. Yamaguchi, K. Fujita, T. Ichimura, A. Naruse, M. Lalith and M. Hori: “Gpu implementation of a sophisticated implicit low-order finite element solver with fp21-32-64 computation using openacc”, Accelerator Programming Using Directives: 6th International Workshop, WACCPD 2019, Denver, CO, USA, November 18, 2019, Revised Selected Papers, Berlin, Heidelberg, Springer-Verlag, p. 3-24 (2019).
• H. Zhou, K. Raffenetti, Y. Guo and R. Thakur: “Mpix stream: An explicit solution to hybrid mpi+x programming”, Proceedings of the 29th European MPI Users’ Group Meeting, EuroMPI/USA’22, New York, NY, USA, Association for Computing Machinery, p. 1-10 (2022).
• S. Matsuoka, H. Amano, K. Nakajima, K. Inoue, T. Kudoh, N. Maruyama, K. Taura, T. Iwashita, T. Katagiri, T. Hanawa and T. Endo: “From flops to bytes: Disruptive change in high-performance computing towards the post-moore era”, Proceedings of the ACM International Conference on Computing Frontiers, CF ’16, New York, NY, USA, Association for Computing Machinery, p. 274-281 (2016).
• N. Hatta, S. Tsunoda, K. Uchida, T. Ishitani, R. Shioya and K. Ishii: “Pezy-sc3: A mimd many-core processor for energy-efficient computing” (2023).

タイトルに関連する用語 (4件)： Cs ,  リダクション ,  実装 ,  性能評価