正則化鏡降下による明示的正則化【JST・京大機械翻訳】

Azizan Navid; Lale Sahin; Hassibi Babak

プレプリント

J-GLOBAL ID：202202205219857263 整理番号：22P0293400

正則化鏡降下による明示的正則化【JST・京大機械翻訳】

Explicit Regularization via Regularizer Mirror Descent

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月22日プレプリントサーバーでの情報更新日： 2022年02月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

訓練データを完全に補間するにもかかわらず,深層ニューラルネットワーク(DNN)は,学習アルゴリズムによって誘発された「陰的正則化」のために,しばしばかなりよく一般化できる。それにもかかわらず,”明示的正則化”(重み減衰)のような正則化の様々な形式は,特にデータが崩壊するとき,過剰適合を避けるためにしばしば用いられる。明示的な正則化,特に不明瞭な収束特性を有するいくつかの課題がある。確率的ミラー降下(SMD)アルゴリズムの収束特性に触発されて,正則化でDNNを訓練する新しい方法を提案した。高度に過パラメータ化したDNNでは,SMDは訓練データを補間し,重みの特定の潜在的関数を最小化する。RMDは,訓練損失の和と重みの凸正則化である標準コストから始まる。このコストを「増強」過パラメータ化ネットワークとSMD適用の可能性として解釈することは,RMDを生成する。結果として,RMDは,SMDの特性を継承し,このコストの極小者に対して,点「閉」におそらく収束する。RMDは確率的勾配降下(SGD)と重量減衰と計算的に比較可能であり,同じ方法で並列化できる。種々のレベルの崩壊による訓練セットに関する実験結果は,RMDの一般化性能がSGDと重量減衰の両方よりも著しくロバストで,著しく良く,それは重みのl_2ノルムを暗黙的かつ明示的に正則化することを示唆した。また,RMDは重みを所望の重みベクトルに正規化するために使用でき,これは特に連続学習に適切である。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

前のページに戻る