文献

J-GLOBAL ID：201802239026260735   整理番号：18A0078343

メス:根底にあるハードウエア並列性へのカスタマイズDNN枝刈り【Powered by NICT】

Scalpel: Customizing DNN pruning to the underlying hardware parallelism

著者 (6件)： Yu Jiecao (University of Michigan) ,  Lukefahr Andrew (University of Michigan) ,  Palframan David (ARM) ,  Dasika Ganesh (ARM) ,  Das Reetuparna (University of Michigan) ,  Mahlke Scott (University of Michigan)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ISCA  ページ： 548-560  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ディープニューラルネットワーク(DNN)の大きさは精度を高め,より複雑な問題を解くために増加しているので,それらのエネルギーフットプリントも比例する。量せん定はDNNモデルサイズと冗長量を除去することにより計算を減少させた。しかしは,様々なハードウェアプラットフォームのいくつかの一般的なネットワークのための荷重枝刈りを実装し,驚くべき結果を観察した。多くのネットワークでは,重量剪定によるネットワークスパース性はモデルサイズと必要な乗算-積算作業の大幅な削減にもかかわらず全体性能を損なう実際にであろう。,ネットワークのスパースフォーマットをコードする付加的な記憶空間オーバヘッドを招く。これらの課題を克服するために,枝刈りネットワーク構造をマッチングデータ並列ハードウエア構成への基礎を成すハードウエアにDNN枝刈りをカスタマイズするメスを提案した。メスは二つの方法:SIMD(単一命令多重データ)を意識した荷重枝刈りとノードせん定から構成されている。低並列ハードウェア(例えば,マイクロコントローラ)では,SIMD(単一命令多重データ)を意識した荷重枝刈りは,SIMDユニットを完全に利用する整列した固定サイズ群の量を維持した。高並列ハードウェア(GPU)では,ノード剪定は,冗長なノード,冗長量を除去し,それによって緻密なマトリックス形式を犠牲にすることなく計算を減少させた。中程度の並列性(例えば,デスクトップCPU)を用いたハードウェアでは,SIMD(単一命令多重データ)を意識した荷重枝刈りとノードせん定は相乗的に一緒に適用した。マイクロコントローラ,CPUとGPUを横断して,メスは3.54X,2.61X,1.25Xの平均高速化を実現する一方で,モデルサイズを減少88%,82%,および53%であった。比較では,伝統的な重量せん定は三プラットフォームに跨って1.90x,1.06x,0.41xの平均高速化を達成した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 高速化 ,  マッチング ,  乗算 ,  積算 ,  マイクロコントローラ ,  ネットワーク構造 ,  ネットワーク ,  *カスタム化 ,  SIMD ,  *ハードウェア
準シソーラス用語： デスクトップ ,  データ並列 ,  スパース性 ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： メス ,  ハードウエア ,  カスタマイズ ,  枝刈り