文献

J-GLOBAL ID：202102273336529039   整理番号：21A1072205

拡散計量を用いた確率的勾配降下の幾何学的解釈【JST・京大機械翻訳】

A Geometric Interpretation of Stochastic Gradient Descent Using Diffusion Metrics

著者 (3件)： Fioresi Rita (Dipartimento di Matematica, piazza Porta San Donato 5, University of Bologna, 40126 Bologna, Italy) ,  Chaudhari Pratik (Department of Electrical and Systems Engineering, University of Pennsylvania, Philadelphia, PA 19104, USA) ,  Soatto Stefano (Computer Science Department, University of California, Los Angeles, CA 90095, USA)
資料名： Entropy (Web)  (Entropy (Web))
巻： 22  号： 1  ページ： 101  発行年： 2020年 
JST資料番号： U7179A  ISSN： 1099-4300  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： スイス (CHE)  言語： 英語 (EN)

抄録/ポイント： 本論文は,確率的勾配降下(SGD)と呼ばれる深層ニューラルネットワークを訓練するための一般的なアルゴリズムの幾何学的理解を開発するステップである。典型的なネットワークを訓練する間,SGDのノイズが高度に非等方性であると観察された最近の結果を構築した。それは,ある拡散行列から生じる一連のメトリックスの測地線によって,著者らの動的システムの軌跡が記述される決定論的モデルを動機づけた。すなわち,SGDにおける確率的勾配の共分散である。著者らのモデルは,一般的相対性におけるモデルに類似している:後者における電磁場の役割は,前者における深いネットワークの損失関数の勾配によって演じる。Copyright 2021 The Author(s) All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  一般相対論 ,  異方性 ,  雑音 ,  電磁場 ,  損失関数 ,  *ネットワーク ,  動的系 ,  共分散 ,  測地線
準シソーラス用語： メトリックス ,  深層学習 ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (3件)： 確率的勾配降下 ,  深層学習 ,  一般相対論

分類 (2件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z)

引用文献 (9件)：

• LeCun, Y.; Bengio, Y.; Hinton, G. Deep learning. Nature 2015, 521, 436.
• LeCun, Y.; Bottou, L.; Bengio, Y.; Haffner, P. Gradient-based learning applied to document recognition. Proc. IEEE 1998, 86, 2278-2324.
• Chaudhari, P.; Soatto, S. Stochastic gradient descent performs variational inference, converges to limit cycles for deep networks. arXiv 2017, arXiv:1710.11029.
• Chaudhari, P.; Soatto, S. On the energy landscape of deep networks. arXiv 2015, arXiv:1511.06485.
• Chaudhari, P.; Choromanska, A.; Soatto, S.; LeCun, Y.; Baldassi, C.; Borgs, C.; Chayes, J.; Sagun, L.; Zecchina, R. Entropy-SGD: Biasing gradient descent into wide valleys. arXiv 2016, arXiv:1611.01838.

タイトルに関連する用語 (6件)： 拡散 ,  計量 ,  確率 ,  勾配 ,  降下 ,  幾何学