文献

J-GLOBAL ID：202002248755853040   整理番号：20A1204195

ディープニューラルネットワーク圧縮のためのスパースな低ランク因子分解【JST・京大機械翻訳】

Sparse low rank factorization for deep neural network compression

著者 (4件)： Swaminathan Sridhar (Bennett University, Greater Noida 201310, India) ,  Garg Deepak (Bennett University, Greater Noida 201310, India) ,  Kannan Rajkumar (Bishop Heber College (Autonomous), Tiruchirappalli 620017, India) ,  Andres Frederic (National Institute of Informatics, Tokyo, Japan)
資料名： Neurocomputing  (Neurocomputing)
巻： 398  ページ： 185-196  発行年： 2020年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 深いニューラルネットワークにおける数百万のパラメータを保存して処理することは,資源制約装置に関するリアルタイム応用におけるモデルの展開の間,非常に挑戦的である。一般的に,一般的な低ランク近似アプローチ特異値分解(SVD)は,分解行列の最も顕著な成分のみを保つことにより,コンパクトな記憶が達成される完全に接続された層の重みに適用される。剪定に基づくニューラルネットワークモデル圧縮に関する研究の年は,各層における各ニューロンの相対的重要性または寄与が互いに高度に変化することを明らかにした。最近,シナプス剪定は,ネットワークアーキテクチャにおけるスパース行列を持つことが推論時間の間,より低い空間とより速い計算を達成することを示した。重み行列の低ランク分解が層の出力ニューロンと同様に入力の重要性も考慮すべきであることを提案することにより,これらの議論を拡張した。スパース性のアイデアとターゲットを達成するためにニューロンの不均等な寄与の存在を組み合わせて,著者らは,非重要なニューロンのためにより低いランクを保つことによって,より良い圧縮率を達成するためにSVDマトリックスをまばらにするスパース低ランク(SLR)方法を提案した。一般的なデータセット上で訓練された有名な畳込みニューラルネットワークに基づく画像認識フレームワークを圧縮することにおいて,この方法の有効性を実証した。実験結果は,提案したアプローチSLRがバニラ短縮SVDと剪定ベースラインを上回り,精度における最小または損失なしでより良い圧縮率を達成することを示した。提案したアプローチのコードは,https://github.com/sridarah/slrで妥当である。Copyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 圧縮率 ,  ニューロン ,  *ニューラルネットワーク ,  シナプス ,  近似法 ,  ネットワークアーキテクチャ ,  スパース行列 ,  特異値分解 ,  画像認識
準シソーラス用語： 神経回路網モデル ,  スパース性 ,  *因子分解 ,  低ランク近似 ,  *ディープニューラルネットワーク ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： 低ランク近似 ,  特異値分解 ,  スパース行列 ,  ディープニューラルネットワーク ,  畳み込みニューラルネットワーク

分類 (2件)： ニューロコンピュータ  (JC06010Q) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (2件)： ディープニューラルネットワーク ,  因子分解