文献

J-GLOBAL ID：201602205455576782   整理番号：16A0256279

密結合並列演算加速機構TCAによるGPU間直接通信におけるCollective通信の実装と性能評価

Implementation and Performance Evaluation of Collective Communication with Proprietary Interconnect TCA for Direct Communication between GPUs

著者 (6件)： 松本和也 (筑波大 計算科学研究セ) ,  塙敏博 (東大 情報基盤セ) ,  児玉祐悦 (理研 計算科学研究機構) ,  藤井久史 (富士通ソフトウェアテクノロジーズ) ,  朴泰祐 (筑波大 計算科学研究セ) ,  朴泰祐 (筑波大 大学院システム情報工学研究科)
資料名： 情報処理学会論文誌トランザクション コンピューティングシステム(Web)  (情報処理学会論文誌 コンピューティングシステム(Web))
巻： 8  号： 4  ページ： 36-49 (WEB ONLY)  発行年： 2015年11月20日 
JST資料番号： U0477A  ISSN： 1882-7829  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 筑波大学計算科学研究センターでは,GPUクラスタにおけるノード間にまたがるGPU間通信のレイテンシの改善を目的とした密結合並列演算加速機構TCA(Tightly Coupled Accelerators)を独自開発している。本稿では,Broadcast,Scatter,Gather,Reduce,Allgather,Allreduceの6つのCollective通信のTCAによる実装と,その性能をTCA実証環境のGPUクラスタであるHA-PACS/TCAにおいて評価した結果を述べる。TCAによる実装は通信レイテンシが問題となる小さめなサイズのCollective通信において,MPIによるCollective通信と比べて高速にその通信処理を行うことが可能であることを示す。また,実装したCollective通信を利用したConjugate Gradient法(CG法)の実装およびその性能について述べる。本研究で用いるCG法の並列アルゴリズムは,AllgatherとAllreduceをその通信部分に用いるものである。TCAによるCollective通信を用いたCG法実装は,疎行列のサイズが比較的小さい場合(評価した範囲においては行数36,000の疎行列の場合まで)ではMPIのCollective通信を用いた実装よりも高い性能を達成できることを示す。(著者抄録)

シソーラス用語： *マルチプロセッサシステム ,  マイクロプロセッサ ,  待ち時間 ,  相互結合網 ,  並列演算 ,  *性能評価 ,  *通信
準シソーラス用語： GPU【プロセッサ】 ,  *GPUクラスタ ,  プロセッサ間通信 ,  密結合並列演算 ,  *集団通信 ,  システム性能評価

分類 (1件)： 制御方式  (JC02030K)

引用文献 (25件)：

• 塙 敏博,児玉祐悦,朴 泰祐,佐藤三久:Tightly Coupled Accelerators アーキテクチャに基づく GPU クラスタの構築と性能予備評価,情報処理学会論文誌.コンピューティングシステム,Vol.6, No.3, pp.14-25 (2013).
• Hanawa, T., Kodama, Y., Boku, T. and Sato, M.: Tightly Coupled Accelerators Architecture for Minimizing Communication Latency among Accelerators, Proc. 27th IEEE International Parallel and Distributed Processing Symposium Workshops & PhD Forum (IPDPSW 2013 ), pp.1030-1039, IEEE (2013).
• 朴 泰祐,佐藤三久,塙 敏博,児玉祐悦,高橋大介,建部修見,多田野寛人,蔵増嘉伸,吉川耕司,庄司光男:演算加速装置に基づく超並列クラスタ HA-PACS による大規模計算科学,情報処理学会研究報告,Vol.2011-HPC-130, No.21, pp.1-7 (2011).
• 藤井久史,藤田典久,塙 敏博,児玉祐悦,朴 泰祐,佐藤三久,藏増嘉伸,Clark, M.:GPU 向け QCD ライブラリ QUDA の TCA アーキテクチャ実装の性能評価,情報処理学会研究報告,Vol.2014, No.43, pp.1-9 (2014).
• Matsumoto, K., Hanawa, T., Kodama, Y., Fujii, H. and Boku, T.: Implementation of CG Method on GPU Cluster with Proprietary Interconnect TCA for GPU Direct Communication, Proc. 29th IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW 2015 ), pp.647-655, IEEE (2015).

タイトルに関連する用語 (6件)： 並列演算 ,  加速 ,  TCA ,  GPU ,  実装 ,  性能評価