文献

J-GLOBAL ID：201902255366345491   整理番号：19A2843818

深いネットワークの統計的神経力学:信号空間の幾何学

Statistical neurodynamics of deep networks: geometry of signal spaces

著者 (5件)： Amari Shun-ichi (RIKEN CBS) ,  Amari Shun-ichi (Araya Inc.) ,  Karakida Ryo (AIST) ,  Oizumi Masafumi (Araya Inc.) ,  Oizumi Masafumi (The University of Tokyo)
資料名： Nonlinear Theory and Its Applications, IEICE (Web)  (Nonlinear Theory and Its Applications, IEICE (Web))
巻： 10  号： 4  ページ： 322-336(J-STAGE)  発行年： 2019年 
JST資料番号： U0219A  ISSN： 2185-4106  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： 深いニューラルネットワークは高度に非線形の階層システムである。統計的神経力学は,ランダムに連結したニューラルネットワークの巨視的挙動を研究する。著者らは,入力信号が層毎に処理される深いフィードフォワードネットワークを考察した。入力信号のマニホールドは,ニューロンの数が入力のそれより大きいならば,曲がったサブマニホールドとして次の層のより高次元のマニホールドに埋め込まれる。著者らは,埋め込まれたマニホールドの幾何学的特徴を示し,このマニホールドが局所的に等方的に拡大または収縮するので,それが常に共形的に埋め込まれていることを証明した。著者らは,埋め込まれたマニホールドの曲率を調べた。スカラー曲率は,一定値に収束するかまたは緩やかに無限大に発散かである。層内のニューロン数と層数との両方が無限大に向かうならば,2信号間の距離も変化し,最終的に安定な固定値に収束する。これは一つの問題を生ずる。つまり,われわれが入力空間における曲線を考察する時,曲線はフラクタル性の連続曲線として写像されるが,われわれの理論は,逆に,この曲線が最終的には等間隔の点の離散集合に収束することを示唆する。実際に,ニューロンと層との数は有限であり,従って,有限サイズ効果が,われわれの理論と現実との間の不一致を引き起こすことが予想される。情報処理に関するこれらの意味を理解するには,さらなる研究が必要である。(翻訳著者抄録)

シソーラス用語： *ニューラルネットワーク ,  *力学 ,  *ニューロン ,  マニホールド ,  *情報処理 ,  サイズ効果 ,  信号変換
準シソーラス用語： フィードフォワードネットワーク ,  *神経力学 ,  有限サイズ効果

著者キーワード (4件)： 統計的神経動力学 ,  計量 ,  曲率 ,  ディープネットワークにおける信号変換

分類 (2件)： 人工知能  (JE08000Z) ,  その他の情報処理  (JE15050M)

引用文献 (9件)：

• [1] S. Amari, “A method of statistical neurodynamics,” Kybernetik, vol. 14, pp. 201-215, (Heft 4) April 1974.
• [2] S. Amari, H. Ando, T. Toyoizumi, and N. Masuda, “State concentration exponent as a measure of quickness in Kauffman-type networks,” Physical Review E, vol. 87, 022814, 2013.
• [3] S. Amari, R. Karakida, and M. Oizumi, “Fisher information and natural gradient learning of random deep networks,” in Proc. AISTAT, pp. 694-702, 2019.
• [4] S. Amari, K. Yoshida, and K. Kanatani, “A mathematical foundation for statistical neurodynamics,” SIAM J. Appl. Math., vol. 33, pp. 95-126, 1977.
• [5] B. Poole, S. Lahiri, M. Raghu, J. Sohl-Dickstein, and S. Ganguli, “Exponential expressivity in deep neural network through transient chaos,” in Advances in Neural Information Processing (NIPS), pp. 3360-3368, 2016.

タイトルに関連する用語 (3件)： 統計 ,  神経力学 ,  幾何学