文献
J-GLOBAL ID:202102234225469212   整理番号:21A0150800

データおよびモデル並列性に対するスパース深層ニューラルネットワークのハッシングの影響の研究【JST・京大機械翻訳】

Studying the Effects of Hashing of Sparse Deep Neural Networks on Data and Model Parallelisms
著者 (4件):
資料名:
巻: 2020  号: HPEC  ページ: 1-7  発行年: 2020年 
JST資料番号: W2441A  資料種別: 会議録 (C)
記事区分: 原著論文  発行国: アメリカ合衆国 (USA)  言語: 英語 (EN)
抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
深層ニューラルネットワーク(DNN)訓練と推論は,通常,データまたはモデル並列化を用いて,入力データとモデル並列化がネットワーク上で並列化するデータまたはモデル並列化を用いてスケールアウトされる2つの資源集約タスクである。また,高密度マトリックス-マトリックス乗算は,高密度DNNの訓練/推論の背後にある重要なプリミティブである。反対に,スパースDNNは,同等の精度を提供しながら,それらの高密度な対応物と比較して,資源集約度が少ない。同様に,それらは鍵プリミティブとしてSparse Matrix-Matrix Multiplication(SpMM)とデータまたはモデル並列化を用いて並列化できる。スケールアウトするために,データおよびモデル並列性の両者は,最初に,複数のマシン間の入力データを分割するために,データ並列性を使用する。入力のこの初期分割は,分割が不均衡になるので,データおよびモデル並列性能を負荷不均衡の傾向があるようにする。本論文の部分として,著者らは,データおよびモデル並列性に深く見えて,それぞれに用いるSpMMの力学を密接に研究する。さらに,それらの負荷不均衡問題を直感的に改善するために,著者らは,負荷イマバランスを扱うための単純だが強力な方法としてハッシングを組み込んだ。最後に,IEEE HPECスパースDNNチャレンジデータセットを用いて,データの性能とスケールにおけるモデル並列性を評価した。32マシン(896コア)までスケールアップし,51秒で4Bパラメータを持つ大きなスパースDNNを推定した。結果は,ハッシングによって,データおよびモデル並列性が,より良い負荷バランスおよびキャッシュ利用のために,超線形高速化を達成することを示唆した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】
シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。

準シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
, 【Automatic Indexing@JST】
分類 (1件):
分類
JSTが定めた文献の分類名称とコードです
図形・画像処理一般 
タイトルに関連する用語 (4件):
タイトルに関連する用語
J-GLOBALで独自に切り出した文献タイトルの用語をもとにしたキーワードです

前のページに戻る