デバイス配置における効率的なグラフ横断順序を用いたモデル並列訓練の加速【JST・京大機械翻訳】

Wang Tianze; Payberah Amir H.; Hagos Desta Haileselassie; Vlassov Vladimir

プレプリント

J-GLOBAL ID：202202213332960308 整理番号：22P0278836

デバイス配置における効率的なグラフ横断順序を用いたモデル並列訓練の加速【JST・京大機械翻訳】

Accelerate Model Parallel Training by Using Efficient Graph Traversal Order in Device Placement

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月21日プレプリントサーバーでの情報更新日： 2022年01月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現代のニューラルネットワークは,大規模なデータセットにおいて,デセント性能に達するために長い訓練を必要とする。訓練をスピードアップする一つの一般的な手法はモデル並列化であり,そこでは大きなニューラルネットワークが複数のデバイスで分割される。しかし,同じニューラルネットワークの異なる装置配置は,異なる訓練時間をもたらす。既存のデバイス配置ソリューションの大部分は,ニューラルネットワークグラフを横断し,それらのニューロンを異なるデバイスに割り当てることによって,逐次意思決定として問題を扱う。本研究では,デバイス配置に対するグラフ横断順序の影響を調べた。特に,異なるグラフ横断順序が,異なるデバイス配置に導いて,次に訓練実行時間にどう影響するかを経験的に研究する。実験結果は,最良グラフ横断順序がニューラルネットワークのタイプとそれらの計算グラフ特徴に依存することを示した。本研究では,モデル並列化における訓練時間を改善するために,様々なニューラルネットワークファミリーのデバイス配置におけるグラフ横断順序の選択に関する推奨も提供した。【JST・京大機械翻訳】

, , , , , ,
, 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る