Srifty:クラウド上のスウィフトとトリフティ分散訓練【JST・京大機械翻訳】

Luo Liang; West Peter; Krishnamurthy Arvind; Ceze Luis

プレプリント

J-GLOBAL ID：202202213754329074 整理番号：22P0213395

Srifty:クラウド上のスウィフトとトリフティ分散訓練【JST・京大機械翻訳】

Srifty: Swift and Thrifty Distributed Training on the Cloud

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年11月28日プレプリントサーバーでの情報更新日： 2022年07月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最良のVM構成を見つけることは,今日,クラウドベースの分散ニューラルネットワーク(NN)訓練における2つの主要な関心事と,より低いコストとより高いスループットを達成するために重要である。ユーザ制約を満たす最適VM選択は,クラウドインスタンスとネットワークを共有することに関連した性能分散を制御しながら,大きな探索空間を効率的にナビゲーションすることが必要である。本研究では,分散NN訓練の文脈におけるこの分散を特性化し,包括的スループットとコスト効率研究の結果を示した。これらの研究からの洞察を用いて,訓練性能を正確に予測し,ユーザ制約を満たす最良のVM選択を見つけるための学習性能モデルとランタイムプロファイリングを組み合わせたシステムを構築した。PyTorchとSriftyを統合し,アマゾンEC2で評価した。EC2上で2K以上の訓練セットアップを横断して,Siftyの大規模一般化研究を行った。結果は,Sriftyが8%の反復待ち時間予測誤差を達成して,そのVMインスタンス推薦は,複雑な,実世界シナリオにおける既存の解決策と比較して,ユーザ制約を満たしながら,有意なスループット利得とコスト低減を提供することを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

計算機網 , 人工知能

前のページに戻る