GADGET:リング全体学習ジョブスケジューリングのためのオンラインリソース最適化【JST・京大機械翻訳】

Yu Menglu; Tian Ye; Ji Bo; Wu Chuan; Rajan Hridesh; Liu Jia

プレプリント

J-GLOBAL ID：202202216650434096 整理番号：22P0283770

GADGET:リング全体学習ジョブスケジューリングのためのオンラインリソース最適化【JST・京大機械翻訳】

GADGET: Online Resource Optimization for Scheduling Ring-All-Reduce Learning Jobs

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年02月02日プレプリントサーバーでの情報更新日： 2022年02月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

分散深層学習(DDL)の進歩により,近年,DDL計算ジョブを処理するための資源集約型分散/並列計算に対する急速に成長している需要が目撃されている。分散コンピューティングにおけるネットワーク通信ボトルネックと負荷分散課題を解決するため,専用パラメータサーバの必要性を取り除くために,いわゆる「リング-オール縮小」分散アーキテクチャをますます採用した。しかし,今日まで,計算クラスタにおけるリング-オール-再生産DDLジョブを効率的にスケジューリングするための資源最適化アルゴリズムを設計する方法に関する理論的理解が不足している。これは,リングオールリダクションDDLジョブのための一連の新しい資源スケジューリング設計を提案することによって,このギャップを埋めることを動機づける。本論文における貢献は,3倍である:i)著者らは,DDL性能最適化(例えば,過剰訓練回避,エネルギー効率,公平性)における広範囲の目的をカバーする,リングオールリダクション深層学習のための新しい資源スケジューリング解析モデルを提案する。ii)提案した性能解析モデルに基づいて,GADGETと呼ばれる効率的な資源スケジューリングアルゴリズム(集合リング-オール-リデュース分散グラフ埋込み技術)を開発し,それは証明可能な強力な性能保証を楽しむ。iii)大規模なトレース駆動実験を行い,GADGET手法の有効性と最先端技術の優位性を実証した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

計算機網 , オペレーティングシステム

, , ,

前のページに戻る