文献

J-GLOBAL ID：201902230177259129   整理番号：19A1956554

Gated recurrent unitの局所安定化による勾配爆発の抑制

著者 (5件)： 金井関利 (NTT ソフトウェアイノベーションセ) ,  金井関利 (慶応大 理工) ,  藤原靖宏 (NTT ソフトウェアイノベーションセ) ,  岩村相哲 (北大 産学・地域協働推進機構) ,  足立修一 (慶応大 理工)
資料名： 電子情報通信学会論文誌 D(Web)
巻： J102-D  号： 8  ページ： 530-541 (WEB ONLY)  発行年： 2019年08月01日 
JST資料番号： U0473A  ISSN： 1881-0225  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本研究では,gated recurrent unit(GRU)の学習において勾配爆発を防止する学習法を提案する.GRUは,recurrent neural network(RNN)のモデル構造の一つであり,学習させることで時系列データの処理を高精度に行うことができる.しかしRNNでは学習に使用する勾配が急激に増大する勾配爆発という現象が生じるため,その学習は困難である.この勾配爆発は学習によって状態の挙動が大きく変化する分岐を起こすときに生じるため,本研究ではGRUの状態の挙動を解析し,分岐が生じないように局所的に安定に制約した学習法を提案する.そして実験として言語と音楽のモデリングを行い,提案法が既存法より効果的に勾配爆発を防げることを示す.(著者抄録)

シソーラス用語： *回帰モデル ,  神経回路網 ,  勾配 ,  *機械学習 ,  データ ,  言語 ,  音楽
準シソーラス用語： *ゲート付き回帰型ユニット ,  回帰型ニューラルネットワーク ,  時系列データ ,  *深層学習

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (44件)：

• A. Graves, A.-R. Mohamed, and G. Hinton, “Speech recognition with deep recurrent neural networks,” Proc. IEEE International Conf. on Acoustics, Speech, and Signal Processing, pp.6645-6649, May 2013.
• T. Mikolov, Statistical Language Models Based on Neural Networks, PhD thesis, Brno University of Technology, 2012.
• A. Graves and J. Schmidhuber, “Offline handwriting recognition with multidimensional recurrent neural networks,” Proc. Annual Conf. on Neural Information Processing Systems, pp.545-552, Dec. 2009.
• R. Pascanu, T. Mikolov, and Y. Bengio, “On the difficulty of training recurrent neural networks,” Proc. International Conf. on Machine Learning, pp.1310-1318, June 2013.
• Y. Bengio, P. Simard, and P. Frasconi, “Learning long-term dependencies with gradient descent is difficult,” IEEE Trans. Neural Netw., vol.5, no.2, pp.157-166, Jan. 1994.

タイトルに関連する用語 (3件)： 安定化 ,  勾配 ,  爆発