文献

J-GLOBAL ID：202002286012213211   整理番号：20A2637765

大規模機械学習クラスタのためのジョブスケジューリング【JST・京大機械翻訳】

Job scheduling for large-scale machine learning clusters

著者 (3件)： Wang Haoyu (University of Virginia) ,  Liu Zetian (University of Virginia) ,  Shen Haiying (University of Virginia)
資料名： ACM Proceedings  (ACM Proceedings)
号： CoNEXT ’20  ページ： 108-120  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 機械学習(ML)の急速な増殖と最新のプラットフォーム上で走る深層学習(DL)アプリケーションにより,デッドラインを満足し,精度を確保するようなアプリケーション性能要求を満たすことが重要である。この目的のために,研究者はMLクラスタのためのいくつかのジョブスケジューラを提案した。しかし,以前に提案したスケジューラはMLモデル並列性を考慮していないが,大規模MLとDLジョブの運転効率を増加させるためのアプローチとして提案されている。したがって,本論文では,データ並列性とモデル並列MLジョブの両方を実行するMLクラスタのためのMLジョブ特徴ベースのジョブスケジューリングシステム(MLFS)を提案する。MLFSは,最初に,ジョブ完了時間(JCT)と精度性能を改良するために,ジョブ待ち行列順序付けのためのタスク優先度を決定するために,MLジョブの空間と時間特性を考慮する発見的スケジューリング方式を使用する。それは,深い強化学習(RL)モデルを訓練するための発見的スケジューリング方法からのデータを使用する。RLモデルがよく訓練された後に,次に,それは,ジョブスケジューリングに関する決定を自動的に行うために,RL方式に切り替える。さらに,MLFSは,タスク優先度に基づく過負荷サーバに移動するために過負荷サーバからタスクを選択するシステム負荷制御方法を持ち,また,システムが,ジョブデッドラインによってJCTと精度を改善するために負荷されたとき,所望の精度性能に関して,ほとんどまたは全く改善しないタスクを知的に除去する。実際のトレースに基づく実実験および大規模シミュレーションは,MLFSがJCTを最大53%まで減らし,そして,既存のMLジョブスケジューラと比較して,最大52%まで実行時間を,最大64%まで改善することを示した。また,著者らのコードを公開した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *スケジューリング ,  負荷制御 ,  時間制限 ,  *クラスタ ,  応用プログラム ,  過負荷 ,  *機械学習 ,  強化学習 ,  優先度
準シソーラス用語： データ並列 ,  実行時間 ,  スケジューラ ,  順序づけ ,  *ジョブスケジューリング ,  深層学習 , 【Automatic Indexing@JST】

著者キーワード (3件)： ジョブスケジューリング ,  機械学習 ,  資源管理

分類 (2件)： 計算機システム開発  (JD02010R) ,  オペレーティングシステム  (JD03020J)

タイトルに関連する用語 (4件)： 大規模 ,  機械学習 ,  クラスタ ,  ジョブスケジューリング