文献

J-GLOBAL ID：202202250016168968   整理番号：22A1093393

正規化層による学習に関する球面展望【JST・京大機械翻訳】

Spherical perspective on learning with normalization layers

著者 (8件)： Roburin Simon (LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Vallee, France) ,  Roburin Simon (valeo.ai, Paris, France) ,  de Mont-Marin Yann (Departement d’informatique de l’ENS, PSL, Inria, Paris, France) ,  Bursuc Andrei (valeo.ai, Paris, France) ,  Marlet Renaud (LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Vallee, France) ,  Marlet Renaud (valeo.ai, Paris, France) ,  Perez Patrick (valeo.ai, Paris, France) ,  Aubry Mathieu (LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Vallee, France)
資料名： Neurocomputing  (Neurocomputing)
巻： 487  ページ： 66-74  発行年： 2022年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 正規化層(NL)は,現代の深層学習アーキテクチャで広く使われている。それらの明らかな単純さにもかかわらず,最適化に及ぼすそれらの影響はまだ完全には理解されていない。本論文では,幾何学的観点からNLを持つニューラルネットワークの最適化を研究するための球面フレームワークを導入した。具体的には,畳み込みニューラルネットワークのフィルタのようなパラメータ群の半径方向不変性は,L2ユニット超球上の最適化ステップを変換できる。この定式化と関連する幾何学的解釈は訓練動力学に新しい光を投げかける。最初に,Adamの最初の有効学習速度表現を引き出した。次に,NLsの存在下では,確率的勾配降下(SGD)のみの実行は,ユニット超球に制約されたAdamのバリアントと,実際には等価であり,そのフレームワークからステムとなることを示した。最後に,この解析は,Adamの以前のバリアントが作用し,最適化プロセスにおけるそれらの重要性を実験的に検証した。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 最適化 ,  フィルタ ,  ニューラルネットワーク ,  球面 ,  定式化 ,  計算機アーキテクチャ ,  *正規化 ,  機械学習
準シソーラス用語： 学習速度 ,  深層学習 ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (4件)： 最適化 ,  深層学習 ,  正規化層 ,  バッチ正規化

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： 正規化 ,  学習 ,  球面 ,  展望