文献

J-GLOBAL ID：202102211579106790   整理番号：21A1034048

非凸スパース群正則化による畳込みニューラルネットワークの構造スパース性【JST・京大機械翻訳】

Structured Sparsity of Convolutional Neural Networks via Nonconvex Sparse Group Regularization

著者 (5件)： Bui Kevin (Department of Mathematics, University of California, Irvine, Irvine, CA, United States) ,  Park Fredrick (Department of Mathematics and Computer Science, Whittier College, Whittier, CA, United States) ,  Zhang Shuai (Department of Mathematics, University of California, Irvine, Irvine, CA, United States) ,  Qi Yingyong (Department of Mathematics, University of California, Irvine, Irvine, CA, United States) ,  Xin Jack (Department of Mathematics, University of California, Irvine, Irvine, CA, United States)
資料名： Frontiers in Applied Mathematics and Statistics (Web)  (Frontiers in Applied Mathematics and Statistics (Web))
巻： 6  ページ： 529564  発行年： 2020年 
JST資料番号： U7057A  ISSN： 2297-4687  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： スイス (CHE)  言語： 英語 (EN)

抄録/ポイント： 畳み込みニューラルネットワーク(CNN)は,分類,物体検出,およびセグメンテーションのような様々な画像アプリケーションにおいて,優れた精度と性能で最近非常に成功している。しかし,高度に正確なCNNモデルは訓練され利用されるために数百万のパラメータを必要とする。その性能を少し増加させると,より多くの層の追加と/または層当りのフィルタ数の増加により,かなり多くのパラメータを必要とする。明らかに,これらの重みパラメータの多くは,冗長で外来性であり,従って,元の高密度モデルは,訓練中の層重みにグループ間およびグループ内スパース性を課すことによって達成される圧縮バージョンによって置き換えられる。本論文では,非凸型正則化(例えば,変換[数式:原文を参照],および[数式:原文を参照])を,個々の重みにスパース性を誘起する,そして,層の出力チャネル上に[数式:原文を参照]正則化を誘導する,スパースグループラッソの非凸型ファミリーを提案する。提案した正則化に可変分割を適用し,勾配降下と閾値化の二つのステップからなるアルゴリズムを開発した。種々のCNNアーキテクチャについて数値実験を示し,ネットワークスパース化におけるスパースグループラッソの非凸型ファミリーの有効性と,最新技術の現状との試験精度を示した。Copyright 2021 The Author(s) All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  フィルタ ,  冗長性 ,  セグメンテーション ,  特徴選択 ,  応用プログラム ,  *正則化 ,  凸形 ,  計算機アーキテクチャ
準シソーラス用語： *スパース性 ,  物体検出 ,  数値実験 ,  非凸最適化 ,  深層学習 ,  *畳込みニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： 深層学習 ,  スパース性 ,  非凸最適化 ,  スパースグループラソ ,  特徴選択

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

引用文献 (105件)：

• AghasiAAbdiANguyenNRombergJ. Net-trim: convex pruning of deep neural networks with performance guarantee. In: Advances in Neural Information Processing Systems; 2017 Nov 23; Long Beach, CA. Pasadena, CA: NeurIPS (2017). p. 3177-86. doi: 10.5555/3294996.3295077
• AghasiAAbdiARombergJ. Fast convex pruning of deep neural networks. SIAM J Math Data Sci (2020). 2:158-188. doi: 10.1137/19m1246468
• AhnMPangJ-SXinJ. Difference-of-convex learning: directional stationarity, optimality, and sparsity. SIAM J Optim. (2017). 27:1637-1665. doi: 10.1137/16m1084754
• AlvarezJMSalzmannM. Learning the number of neurons in deep networks In: Advances in Neural Information Processing Systems; 2018 Oct 11; Barcelona, Spain. Pasadena, CA: NeurIPS (2016). p. 2270-8.
• AntoniadisAFanJ. Regularization of wavelet approximations. J Am Stat Assoc. (2001). 96:939-67. doi: 10.1198/016214501753208942

タイトルに関連する用語 (4件)： 凸 ,  正則化 ,  畳込みニューラルネットワーク ,  スパース性