文献

J-GLOBAL ID：201802245647047016   整理番号：18A1421891

LODを学習するニューラルネットワークの破局的な忘却を軽減するための情報理論に基づくリンク重みの多様性を測る指標の提案と評価

Information Theory Based Measurement Measuring Diversity of Link Weight for Mitigate Catastrophic Forgetting in Neural Network Learning LOD

著者 (2件)： CHEN Lu (京都工繊大 情報工学・人間科学系) ,  村田正幸 (大阪大 大学院情報科学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 118  号： 91(IN2018 8-11)(Web)  ページ： 27-32 (WEB ONLY)  発行年： 2018年06月07日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： Linked Open Data(LOD)はデータの規模が大きいことから,大規模データの学習を得意とするニューラルネットワークとの親和性が高いと考えられる。しかし,LODは公開されるデータの領野が多岐に渡り,かつデータ量が増大し続けているため,既存の特定の領野の学習に特化したニューラルネットワークでは不十分であり,領野を横断して継続的な学習を可能にするニューラルネットワークの設計が求められる。しかし,ニューラルネットワークには破局的な忘却の問題が存在し,カテゴリを横断して継続的に学習することが可能でない。本問題に関する研究は盛んに行われているが,ほとんどが直前に学習した知識をダイレクトに保持するものであり,これでは直前に学習した数個の知識しか保持できず,ある時点を境にそれより過去に獲得した知識を極度に忘却することには変わりない。本研究の目的は,緩やかに忘却するニューラルネットワークを構築することである。手段として,生物システムが環境変化に対してシステム状態を柔軟に変えながら生存してきたことの根源的な特性である構造的多様性をニューラルネットワーク設計に取り入れる。本研究では,リンク重みの多様性を高めることにより緩やかに忘却するニューラルネットワークを実現する。リンク重みの多様性を定量的に評価するため,情報理論に基づく指標を提案する。限られた例ではあるものの,結果より,リンク重みのエントロピーの値が既存手法と完全にランダムの場合の中間にある時,忘却を既存手法より軽減できることが分かった。(著者抄録)

シソーラス用語： *データ ,  *ニューラルネットワーク ,  *学習 ,  情報理論 ,  多様性 ,  リンク結合 ,  忘却 ,  設計 ,  ネットワーク
準シソーラス用語： *オープンデータ ,  *リンクデータ ,  大規模データ ,  破局的な忘却 ,  リンクオープンデータ ,  LOD【コンピュータ技術】 ,  ネットワーク設計

分類 (3件)： 人工知能  (JE08000Z) ,  計算機網  (JC03000K) ,  通信網  (ND07030A)

引用文献 (9件)：

• J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, “Overcoming catastrophic forgetting in neural networks,” Proceedings of the National Academy of Sciences, vol. 114, pp. 3521-3526, Feb. 2017.
• K. O. Ellefsen, J.-B. Mouret, and J. Clune, “Neural modularity helps organisms evolve to learn new skills without forgetting old skills,” PLoS Computational Biology, p. e1004128, Apr. 2015.
• R. M. French, “Catastrophic forgetting in connectionist networks,” Trends in cognitive sciences, vol. 3, pp. 128-135, Apr. 1999.
• J. Whitacre and A. Bender, “Degeneracy: A design principle for achieving robustness and evolvability,” Journal of Theoretical Biology, vol. 263, pp. 143-153, Mar. 2010.
• L. Chen and M. Murata, “Alleviating catastrophic forgetting with modularity for continuously learning linked open data,” International Journal of Computer Theory and Engineering, 2018.

タイトルに関連する用語 (10件)： LOD ,  学習 ,  ニューラルネットワーク ,  忘却 ,  情報理論 ,  リンク ,  多様性 ,  指標 ,  提案 ,  評価