文献

J-GLOBAL ID：202002251740652290   整理番号：20A1187632

枝刈り圧縮? ネットワーク層類似性による枝刈りの調査【JST・京大機械翻訳】

Is Pruning Compression?: Investigating Pruning Via Network Layer Similarity

著者 (3件)： Blakeney Cody (Texas State University) ,  Yan Yan (Texas State University) ,  Zong Ziliang (Texas State University)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： WACV  ページ： 903-911  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 非構造化ニューラルネットワーク剪定は,精度を損なうことなく,大きなニューラルネットワークの理論的モデルサイズ,計算需要およびエネルギー消費を大幅に低減できる有効な技術である。しかし,せん定に関する多くの基本的疑問はまだ答えられていない。例えば,剪定されたニューラルネットワークは元のネットワークと同じ表現を含んでいる。圧縮または進化過程を剪定する。訓練されたニューラルネットワークに関する研究のみを行う。非被覆スパース構造の役割と価値。本論文では,3つの非構造化せん定法(大きさに基づく剪定,ポスト剪定再初期化,ランダムスパース初期化)を解析することにより,これらの問題に答えることを試みた。著者らは,単一ベクトル正準相関解析(SVCCA)ツールを用いて,プルーンとオリジナルのResNet,VGG,およびConvNetモデルの層表現を研究し,対比するための広範な実験を行った。いくつかの興味深い観察を行った。1)ニューラルネットワークモデルは,類似の精度を維持しながら,実質的に異なる表現に進化する。2)初期化スパースモデルは,良く設計されたせん定法と比較して,合理的に良好な精度を達成することができる。3)せん定モデルにより発見されたスパース構造は本質的に重要ではない。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ベクトル ,  *ネットワーク ,  被覆 ,  ニューラルネットワーク ,  エネルギー消費 ,  類似性
準シソーラス用語： 理論モデル ,  神経回路網モデル ,  プルーン ,  正準相関解析 ,  ネットワーク層 ,  進化過程 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： 枝刈り ,  ネットワーク層 ,  類似性 ,  調査