文献

J-GLOBAL ID：202002250058402914   整理番号：20A0903083

深い畳込み神経回路網の最適化 スリムはどのように行くことができるか【JST・京大機械翻訳】

Optimization for Deep Convolutional Neural Networks: How Slim Can It Go?

著者 (1件)： Liang Stephen D. (Department of Computer Science, University of Texas at Austin, Austin, TX, USA)
資料名： IEEE Transactions on Emerging Topics in Computational Intelligence  (IEEE Transactions on Emerging Topics in Computational Intelligence)
巻： 4  号： 2  ページ： 171-179  発行年： 2020年 
JST資料番号： W2473A  ISSN： 2471-285X  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深畳込みニューラルネットワーク(CNN)は,特に完全接続(FC)層において膨大な量のパラメータを有し,それは計算コストにより処理待ち時間が高い実時間応用のボトルネックとなっている。本論文において,著者らは,それを多くのスライマーを作ることを通して,CNNにおけるFC層を最適化することを提案した。FC層における重みの統計分布の解析を行い,各カラムがGauss分布に従うことを観測した。Akaike情報基準とBayes情報基準に基づくFC層の重みの回帰モデル分析は,それらがGranger因果律を有することを示して,それはカラムが相関して,それらが着色Gauss分布に従うことを意味した。この分布に基づいて,情報理論の観点からFC層のCNN設計と最適化定理を導出した。定理は2つの設計基準,ランクと特異値を提供する。さらに,カラーGaussの重みを持つFC層は白色Gaussのそれよりも効率的であることを示した。最適化基準は特異値分解に基づいているので,特異値分解を適用して,FC層における対応するカラムを同定するために最大特異値とQRを見出した。この最適化手法をAlexNetに対して評価し,slimmer CNNをImageNet分類に適用した。シミュレーション結果は,著者らの方式がランダムドロップアウトよりはるかに良く機能することを示した。特に,重量の約28%だけで,AlexNetは,トップ1誤差とトップ5誤差に関して,元のAlexNetと同様に実行することができた。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *最適化 ,  シミュレーション ,  情報理論 ,  *畳込み ,  正規分布 ,  最適化手法 ,  着色 ,  待ち時間 ,  回帰モデル ,  *神経回路網 ,  設計基準 ,  特異値分解
準シソーラス用語： 統計分布 ,  計算コスト ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： 畳込み ,  神経回路網 ,  最適化