文献

J-GLOBAL ID：202002280104228288   整理番号：20A2540611

ニューラルネットワーク圧縮におけるハイブリッドテンソル分解

Hybrid tensor decomposition in neural network compression

著者 (5件)： Wu Bijiao (School of Electronic and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China) ,  Wang Dingheng (School of Electronic and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China) ,  Zhao Guangshe (School of Electronic and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China) ,  Deng Lei (University of California, Santa Barbara, CA 93106, USA) ,  Li Guoqi (Department of Precision Instrumentation, Center for Brain Inspired Computing Research and Beijing Innovation Center for Future Chip, Tsinghua University, Beijing 100084, China)
資料名： Neural Networks  (Neural Networks)
巻： 132  ページ： 309-320  発行年： 2020年12月 
JST資料番号： T0698A  ISSN： 0893-6080  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワーク(DNN)は,大きなデータから高レベル特徴の学習能力により,最近,様々な人工知能(AI)アプリケーションにおける印象的なブレークスルーを可能にした。しかし,計算資源,特に貯蔵消費に対するDNNの現在の需要は,ますます複雑なアプリケーションのためにモデルの大きさの増大が要求されているため,成長している。この問題に取り組むために,テンソル列(TT)とテンソルリング(TR)を含むいくつかのテンソル分解法を適用して,DNNを圧縮し,かなりの圧縮有効性を示した。本研究では,ニューラルネットワーク圧縮におけるその能力を調べるために,古典的だが稀に使われているテンソル分解法である階層的Tucker(HT)を導入した。後者は,後者が最も広く用いられている分解法とHTのバリアントであるので,比較研究のためにHTとTTフォーマットの両方に対して重み行列と畳込みカーネルを変換する。さらに,HTフォーマットは圧縮重み行列に対してより良い性能を持つが,一方,TTフォーマットは畳込みカーネルを圧縮するのに適していることを理論的および実験的に見出した。この現象に基づいて,畳込みと完全接続部分を別々に圧縮し,畳み込みニューラルネットワーク(CNN)上でTTまたはHTフォーマットだけを使用するよりも,より良い精度を達成するように,TTとHTを一緒に組み合わせることによって,ハイブリッドテンソル分解の戦略を提案した。本研究は,ニューラルネットワーク圧縮のためのハイブリッドテンソル分解の展望を明らかにした。Copyright 2021 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： *ニューラルネットワーク ,  *機械学習 ,  評価試験 ,  分解 ,  データ圧縮 ,  ハイブリッド系 ,  人工知能 ,  データフォーマット ,  畳込み ,  性能評価
準シソーラス用語： テンソル分解 ,  深層学習

著者キーワード (5件)： ニューラルネットワーク圧縮 ,  ハイブリッドテンソル分解 ,  階層的タッカ ,  テンソル列 ,  平衡構造

分類 (2件)： ニューロコンピュータ  (JC06010Q) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (2件)： ニューラルネットワーク ,  テンソル分解