文献

J-GLOBAL ID：201902278897346130   整理番号：19A1249408

ソフトマックス関数を有するパーセプトロンの統計力学的解析

著者 (2件)： 坪下幸寛 (富士ゼロックス コミュニケーション技研) ,  園田隆志 (富士ゼロックス コミュニケーション技研)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 118  号： 470(NC2018 44-88)(Web)  ページ： 73-78 (WEB ONLY)  発行年： 2019年02月25日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,深層学習は,画像認識,音声認識,あるいは自然言語処理などの分野で大きな性能改善を果たし,いわゆるAIブームの火付け役となった.しかしながら,その動作原理に関する研究は進んでいるとは言い難く,ブラックボックスのまま経験と勘による手探りの設計が行われているのが現状である.このような状況を鑑み,本研究では深層学習の動作原理の理論的な解明を目指して,情報統計力学による学習機構の理論定式化を試みた.具体的には温度パラメータを持つソフトマックスを出力関数とするパーセプトロンに対してレプリカ法を適用し,蒸留モデルに関する記憶容量の性能限界値を導出した.高温領域ではランダムな挙動を示し,低温領域では通常のパーセプトロンと同様の挙動を示すことが分かった.さらに,中間領域では,シミュレーションによって記憶容量が急激に変化するパラメータ領域が存在することが分かった.(著者抄録)

シソーラス用語： 人工知能 ,  *パーセプトロン ,  *統計力学 ,  機械学習 ,  蒸留 ,  *レプリカ法 ,  シミュレーション
準シソーラス用語： ソフトマックス関数 ,  情報統計力学 ,  深層学習

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (8件)：

• Hinton, G., Vinyals, O. and Dean, J., Distilling the Knowledge in a Neural Network, arXiv preprint arXiv:1503.02531, 2015.
• Romero, A., Ballas, N., Kahou, S. E., Chassang, A., Gatta, C. and Bengio, Y., FitNets: Hints for Thin Deep Nets, International Conference on Learning Representation (ICLR), 2015.
• Lopez-Paz, D., Bottou, L., Schölkopf, B. and Vapnik, V., Unifying distillation and privileged information, International Conference on Learning Representation (ICLR), 2016.
• Radosavovic, I., Dollar, P., Girshick, R., Gkioxari, G. and He, K., Data Distillation: Towards OmniSupervised Learning, arXiv preprint arXiv: 1712.04440, 2017.
• Gardner, E. and Derrida, B., Optomal storage properties of neural network models, Journal of Physics A: Math. Gen. 21, 271-284, 1988.

タイトルに関連する用語 (5件)： ソフト ,  関数 ,  パーセプトロン ,  統計 ,  力学的解析