文献

J-GLOBAL ID：202002260354311638   整理番号：20A2623226

テンソルダッシュ:深層ニューラルネットワーク訓練を加速するスパース性の利用【JST・京大機械翻訳】

TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training

著者 (7件)： Mahmoud Mostafa (University of Toronto) ,  Edo Isak (University of Toronto) ,  Zadeh Ali Hadi (University of Toronto) ,  Mohamed Awad Omar (University of Toronto) ,  Pekhimenko Gennady (University of Toronto,Vector Institute) ,  Albericio Jorge (Cerebras Systems) ,  Moshovos Andreas (University of Toronto,Vector Institute)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： MICRO  ページ： 781-795  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： TensorDashは,データ並列MACユニットがそれらの入力オペランドストリームにおけるスパース性を利用することができるハードウェアベース技術である。深層学習のためのハードウェアアクセラレータを構成するために使用したとき,TensorDashは訓練プロセスを高速化し,一方,エネルギー効率を増加させる。TensorDashは,面積効率の良いハードウェアスケジューラとの低コストスパース入力オペランド相互接続と接続する。スケジューラは,活性化,重み,および勾配におけるスパース性を効果的に抽出できる。様々な応用をカバーする最先端のモデルの広い範囲にわたって,TensorDashは,5%以下の面積オーバーヘッドで,Tensorcoreベース加速器のトップに取り込まれたとき,1.95の訓練プロセスを加速し,一方,エネルギー効率は1.5倍である。TensorDashは,データ型診断であり,IEEE標準混合精度浮動小数点ユニットと機械学習浮動点フォーマット(BFlat16)のための一般的な最適化で,それを実証する。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 加速器 ,  最適化 ,  相互接続 ,  IEEE ,  *ハードウェア ,  高速化 ,  データ型 ,  エネルギー効率 ,  機械学習
準シソーラス用語： *スパース性 ,  スケジューラ ,  オーバヘッド ,  ハードウェアアクセラレータ ,  深層学習 ,  *ディープニューラルネットワーク , 【Automatic Indexing@JST】

分類 (5件)： 専用演算制御装置  (JC04030Y) ,  医用画像処理  (JE04020T) ,  音声処理  (JE05000E) ,  NMR一般  (BM07041R) ,  符号理論  (ND02030R)

タイトルに関連する用語 (5件)： テンソル ,  深層ニューラルネットワーク ,  訓練 ,  加速 ,  スパース性