文献

J-GLOBAL ID：201802257306496922   整理番号：18A1681362

順序付き重み付きL_1正則化を用いた深層学習のための同時スパース性とパラメータタイイング【JST・京大機械翻訳】

Simultaneous Sparsity and Parameter Tying for Deep Learning Using Ordered Weighted l₁ Regularization

著者 (4件)： Zhang Dejiao (Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor) ,  Katz-Samuels Julian (Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor) ,  Figueiredo Mario A.T. (Instituto de Telecomunicac,oes and Instituto Superior Te ́cnico, Universidade de Lisboa, Portugal) ,  Balzano Laura (Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2018  号： SSP  ページ： 65-69  発行年： 2018年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深いニューラルネットワーク(DNN)は通常数百万のパラメータを含み,貯蔵と計算の両方を非常に高価にする。この高い能力は,DNNsが洗練されたマッピングを学習することを可能にするが,それらはまた,それらを過剰に適合させる傾向がある。この問題に取り組むために,著者らはOWL(秩序化加重l_1)と呼ばれる最近提案されたスパース性誘導正則化装置を採用した。それは強く相関した共変量を有するスパース線形回帰において効果的であることを証明した。従来のスパース性誘導正則化器とは異なり,OWLは,それらの重みをゼロに設定することにより,同時に重要でない変数を除去し,一方,対応する重みを一般的な値に結び付けることにより,変数の相関グループを明示的に同定する。著者らは,いくつかの深い学習ベンチマーク上でOWL正則化器を評価し,それが一般化精度に関してわずかまたは損失なしでネットワークを劇的に圧縮することができることを示した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *学習 ,  ネットワーク ,  ニューラルネットワーク ,  ベンチマーク ,  *正則化
準シソーラス用語： 線形回帰 ,  共変量 ,  加重 ,  *スパース性 ,  *深層学習 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： 順序 ,  正則化 ,  深層学習 ,  スパース性