Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化

田處雄大; 木村啓二; 笠原博徳

文献

J-GLOBAL ID：202102211802112635 整理番号：21A1570544

Sparse Neural NetworkにおけるSpMMの並列/ベクトル化による高速化

Parallelization and Vectorization of SpMM for Sparse Neural Network

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=21A1570544&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=21A1570544&from=J-GLOBAL&jstjournalNo=U2030A") }}

著者 (3件)： , ,
資料名：
巻： 120 号： 435(CPSY2020 50-69) ページ： 31-36 (WEB ONLY) 発行年： 2021年03月18日
JST資料番号： U2030A ISSN： 2432-6380 資料種別：会議録 (C)
記事区分：原著論文発行国：日本 (JPN) 言語：日本語 (JA)

Deep Learning(深層学習)におけるモデル圧縮手法の一つとしてプルーニングが知られている.プルーニングにより重要度の低い重みを削除することにより,高い認識精度を維持しつつモデルのサイズを削減することができる.またその結果,重み行列は疎行列として表現されることになる.しかし,プルーニングによって得られる疎行列は科学技術計算などに用いられる疎行列と異なり,ランダム性の高いものとなっており,非零要素の局所性を活かした高速化は困難である.本稿では,ランダム性の高い疎行列を対象としたSpMM(疎行列密行列積)の高速化手法を報告する.本提案手法をResNet50に対して適用し,NEC SX-Aurora TSUBASA上で評価を行った.ベンダ提供のBLASライブラリ使用時に対して提案手法を適用した層では1コアで最大2.78倍の速度向上,モデル全体では8コアで1.98倍の速度向上がそれぞれ得られた.(著者抄録)

, , , , , , , , , , , ,
, , ,

数値計算

引用文献 (24件)：

J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “Bert: Pretraining of deep bidirectional transformers for language understanding,” 2019.
T.B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D.M. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, and D. Amodei, “Language models are few-shot learners,”2020.
M. Zhu and S. Gupta, “To prune, or not to prune: exploring the efficacy of pruning for model compression,” 2017.
S. Han, H. Mao, and W.J. Dally, “Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding,” arXiv preprint arXiv:1510.00149, pp.●●-●●, 2015.
K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” 2015.

前のページに戻る