文献

J-GLOBAL ID：201902237516786562   整理番号：19A2084067

非線形性を持つ深さはResNetで悪い極小値を生まない

Depth with nonlinearity creates no bad local minima in ResNets

著者 (2件)： Kawaguchi Kenji (Massachusetts Institute of Technology, 77 Massachusetts Ave, Cambridge, MA 02139, USA) ,  Bengio Yoshua (University of Montreal, 2900 Edouard Montpetit Blvd, Montreal, QC H3T 1J4, Canada)
資料名： Neural Networks  (Neural Networks)
巻： 118  ページ： 167-174  発行年： 2019年10月 
JST資料番号： T0698A  ISSN： 0893-6080  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 本論文では,すべての極小値が同様の古典的機械学習モデルの最小値よりも悪くなく,残差表現を用いてさらに改善されることを保証するという意味で,任意の非線形活性化関数を用いる任意のディープResNetの一種において,非線形性を持つ深さが悪い極小値を生まないことを証明した。本論文では,結果としてNeural Information Processing Systems 2018での会議における論文に記載された未解決の問題に対してよい解答を提供した。本論文では,ResNetに対してだけ深層学習の最適化理論を進歩させ,他のネットワークアーキテクチャに対してはそうではない。Copyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： ネットワークアーキテクチャ ,  学習モデル ,  残差 ,  情報システム ,  *非線形性 ,  関数 ,  *ニューラルネットワーク ,  *機械学習
準シソーラス用語： 活性化関数

著者キーワード (4件)： 深層学習 ,  残留神経回路網 ,  非凸最適化 ,  局所最小値

分類 (2件)： ニューロコンピュータ  (JC06010Q) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (2件)： 非線形性 ,  極小値