文献

J-GLOBAL ID：202102239104876756   整理番号：21A1497007

マルチニューラルネットワークの新たな分散学習アルゴリズムの提案

Proposal of Novel Distributed Learning Algorithms for Multi-Neural Networks

著者 (3件)： 原田和明 (岡山大 大学院自然科学研究科) ,  右田剛史 (岡山大 大学院自然科学研究科) ,  高橋規一 (岡山大 大学院自然科学研究科)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 120  号： 430(NLP2020 55-65)  ページ： 17-22 (WEB ONLY)  発行年： 2021年03月08日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 異なる機関や地点で収集された訓練データを一か所に集約することなく,同一構造を有する多数のニューラルネットワーク(NN:Neural Network)に分散的に学習させる方法が提案されている.この方法は,各NNが,自身の訓練データに対する損失関数の最急降下方向と近傍のNNのパラメータ値の重み付き平均を組み合わせた方向にパラメータ値を更新することを繰り返すものであり,NN間の通信を表すグラフの構造や重みに関するいくつかの条件の下で,すべてのNNのパラメータ値が全訓練データに対する損失関数の同一の停留点に収束することが証明されている.しかしながら,訓練データがNNごとに大きくばらつき,かつNN間の通信を表すグラフが密でない場合には,学習精度の低下を招いてしまう.本報告では,そのような場合でも高精度の学習を実現する分散学習法を提案し,その有効性を実験的に評価する.(著者抄録)

シソーラス用語： ニューラルネットワーク ,  学習 ,  *学習アルゴリズム ,  マルチエージェントシステム ,  教師つき学習 ,  最適化 ,  意思決定 ,  *手書き文字認識 ,  実験 ,  数字 ,  *機械学習
準シソーラス用語： 局所最適化 ,  合意形成 ,  数値実験 ,  分散学習

分類 (1件)： パターン認識  (JE07000S)

引用文献 (5件)：

• I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016.
• Z. Jiang, A. Balu, C. Hegde and S. Sarkar, “Collaborative deep learning in fixed topology networks,” Advances in Neural Information Processing Systems, pp. 5904-5914, June 2017.
• C. G. Lopes and A. H. Sayed, “Diffusion least-mean squares over adaptive networks: Formulation and performance analysis,” IEEE Transaction on Signal Processing, vol.56, no.7, pp.3122-3136, July 2008.
• P. Di Lorenzo and S. Gesualdo “Next: In-network nonconvex optimization,” IEEE Transactions on Signal and Information Processing over Networks,, vol.2, no.2, pp.120-136, 2016.
• S. Scardapane and P. Di Lorenzo, “A framework for parallel and distributed training of neural networks,” Neural Networks, vol.91, pp.42-54, July 2017.

タイトルに関連する用語 (5件)： マルチ ,  ニューラルネットワーク ,  分散学習 ,  アルゴリズム ,  提案