効率的でイベント的に一貫性のある集団演算【JST・京大機械翻訳】

Iakymchuk Roman; Faustino Amandio; Emerson Andrew; Barreto Joao; Bartsch Valeria; Rodrigues Rodrigo; Monteiro Jose C.

プレプリント

J-GLOBAL ID：202202215161971406 整理番号：22P0323284

効率的でイベント的に一貫性のある集団演算【JST・京大機械翻訳】

Efficient and Eventually Consistent Collective Operations

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月31日プレプリントサーバーでの情報更新日： 2022年03月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

衝突操作は,高性能(HPC)と機械/深層学習(ML/DL)アプリケーションで頻繁に用いられる並列プログラミングモデルの共通特徴である。強いスケーリングシナリオにおいて,集団操作は全体適用性能に負に影響し,コア数の増加とともに,ランク当りの負荷は減少し,一方,集団操作に費やされた時間は対数的に増加した。本論文では,ブロードキャストとReduceにおける通信を低減し,また,AllReduce集合に対するStale Synchronous 並列(SSP)同期モデルを探索することにより,ML/DL計算に適した最終的に一貫した集合に対する設計を提案した。さらに,HPCコードで使用される大きなメッセージとAlltoAllに対するAllreductionのような古典的/一貫性のある集合演算を頻繁に使用するGASPIエコシステムも豊かにした。著者らの実装は,ベンダープロビッドMPI代替案と比較して,特に,AllreuceとAltoAllに対して,著しい改善で有望な予備的結果を示す。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , 【Automatic Indexing@JST】

数値計算 , ディジタル計算機方式一般

前のページに戻る