文献

J-GLOBAL ID：202202277644265940   整理番号：22A1062868

大規模動的予歪モデルの高速MoEモデリングと最適化訓練【JST・京大機械翻訳】

FasterMoE modeling and optimizing training of large-scale dynamic pre-trained models

著者 (7件)： He Jiaao (Tsinghua University) ,  Zhai Jidong (Tsinghua University) ,  Antunes Tiago (Tsinghua University) ,  Wang Haojie (Tsinghua University) ,  Luo Fuwen (Tsinghua University) ,  Shi Shangfeng (Tsinghua University) ,  Li Qin (Tsinghua University)
資料名： ACM Proceedings  (ACM Proceedings)
号： PPoPP ’22  ページ： 120-134  発行年： 2022年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層学習における現在の傾向は,それらの精度を上げる目的で,モデルを極端に大きいサイズにスケールすることである。Expert-of-Expert(MoE)は,trillion-scaleを超えるパラメータを持つモデルの訓練を可能にする最も一般的な事前訓練モデルである。専門家の動的活性化,すなわち,あるドメインに特殊化した浅い層のおかげで,それはより大きなモデルのスパース訓練を可能にし,モデルサイズと計算の間の線形性を除去する。しかし,従来の深層学習モデルとは異なって,動的負荷不均衡,非効率的同期実行モード,および混雑した全対全通信を含む,これらの訓練システムの効率に大きな課題を引出す。これらの課題に取り組むために,まず,特定の訓練タスクの異なった操作の待ち時間を正確に予測し,新しいルーフライン様モデルを介してそのエンドツーエンド性能を直感的に解析できる性能モデルを提案した。次に,このモデルで誘導して,負荷不均衡に対処する動的シャドウイングアプローチを発明し,異なる操作を分割し,それらを同時に実行するスマート細粒スケジュールを発明した。エキスパート選択の修正が許されるとき,反復のより低い待ち時間のためにネットワーク輻輳を緩和する輻輳回避エキスパート選択戦略を設計した。上記の最適化を一般的システム,FasterMoEとして実装し統合し,効率的分散MoEモデル訓練を実装した。高速MoEを64GPUまでの異なるクラスタシステムで評価した。それは,ZeRO,GShard,およびBASE層を含む大規模モデルのための最先端のシステムと比較して,1.37X-17.87X高速化を達成した。FasterMoEのソースコードは現在https://github.com/thu-pacman/FasterMoEで利用可能である。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *最適化 ,  性能 ,  動荷重 ,  精度 ,  *モデリング ,  エンドツーエンド方式 ,  線形性 ,  *モデル ,  待ち時間 ,  高速化 ,  *予歪 ,  機械学習
準シソーラス用語： 不均衡 ,  ソースコード ,  全対全通信 ,  深層学習 , 【Automatic Indexing@JST】

著者キーワード (3件)： 分散深層学習 ,  並列性 ,  性能モデリング

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (7件)： 大規模 ,  予歪 ,  モデル ,  MOE ,  モデリング ,  最適化 ,  訓練