単純なニューラルネットワークにおける複雑な動力学:位相回復における勾配流の理解【JST・京大機械翻訳】

Mannelli Stefano Sarao; Biroli Giulio; Cammarota Chiara; Krzakala Florent; Urbani Pierfrancesco; Zdeborova Lenka

プレプリント

J-GLOBAL ID：202202212074144839 整理番号：21P0035308

単純なニューラルネットワークにおける複雑な動力学:位相回復における勾配流の理解【JST・京大機械翻訳】

Complex Dynamics in Simple Neural Networks: Understanding Gradient Flow in Phase Retrieval

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2020年06月12日プレプリントサーバーでの情報更新日： 2020年06月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

高次元非凸関数を最適化するための勾配ベースアルゴリズムの広範な使用にもかかわらず,偽物にトラップされる代わりに良好な極小を見つける能力の理解は,未解決問題のままである。ここでは,ランダム測定から位相検索のための勾配流動力学に焦点を当てた。入力次元に対する測定数の比率が小さい場合,動力学は引力の大きな流域で偽極小にトラップされたままである。臨界比以上では,これらの臨界点が信号に対して負の方向を発達させる不安定になることを解析的に見出した。数値実験により,この領域では勾配フローアルゴリズムがトラップされないことを示した。それは不安定な方向に沿って偽臨界点から離れてドリフトし,大域的最小を見つけるのに成功した。統計的物理学からのツールを用いて,この現象を特性化し,これは偽極小のHessianにおけるBBP型遷移に関連している。【JST・京大機械翻訳】

, , , , , , , ,
, , 【Automatic Indexing@JST】

数値解析,近似法 , 数値計算

, , , ,

前のページに戻る