文献

J-GLOBAL ID：202002291643652332   整理番号：20A2079898

深層展開に基づく信号処理アルゴリズムの設計 -収束加速とその理論的解釈-

Deep Unfolding Approach for Signal Processing Algorithms: Convergence Acceleration and Its Theoretical Interpretation

著者 (2件)： 和田山正 (名古屋工業大学大学院工学研究科) ,  高邉賢史 (名古屋工業大学大学院工学研究科)
資料名： Fundamentals Review (Web)  (Fundamentals Review (Web))
巻： 14  号： 1  ページ： 60-72(J-STAGE)  発行年： 2020年 
JST資料番号： U0221A  ISSN： 1882-0875  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 深層学習技術は,深層ニューラルネットワークの学習に利用できるだけではなく,入出力を伴う “微分可能な反復型アルゴリズム” の内部パラメータ最適化に適用可能である.従前から知られている優れた反復型アルゴリズムを基礎として,その内部に学習可能パラメータを埋め込むことで,データに基づく学習可能性をもつ柔軟な派生アルゴリズムを構成できる.このアプローチを深層展開と呼ぶ.本稿では,線形逆問題の一つであるスパース信号再現における再現アルゴリズムを中心として,深層展開の概要とその特徴を紹介する.本稿の前半では,深層展開により導かれるスパース信号再現アルゴリズムの実例(TISTA)を紹介するとともに,深層学習に基づいて構成されたアルゴリズムで見られる収束加速について解説する.本稿の後半では,収束加速の要因となる学習後パラメータに関する理論的成果(チェビシェフステップに基づくスペクトル半径制御)について概説する.そこでは,なぜ深層展開が収束加速を与えるのか,という問いに対する一つの回答が与えられる.(著者抄録)

シソーラス用語： *機械学習 ,  *信号処理 ,  アルゴリズム ,  信号 ,  再構成 ,  Chebyshev多項式 ,  収束 ,  ニューラルネットワーク ,  逆問題
準シソーラス用語： 深層学習 ,  深層展開 ,  スパース信号 ,  スパース信号再構成

著者キーワード (12件)： 深層学習 ,  信号処理 ,  深層展開 ,  スパース信号再現 ,  チェビシェフ多項式 ,  収束加速 ,  deep learning ,  signal processing ,  deep unfolding ,  sparse signal recovery ,  Chebyshev polynomial ,  convergence acceleration

分類 (2件)： 人工知能  (JE08000Z) ,  数値計算  (JE02000J)

引用文献 (36件)：

• (1) G.E. Hinton and R.R. Salakhutdinov, “Reducing the dimensionality of data with neural networks,” Science, vol. 313, no. 5786, pp. 504-507, June 2006.
• (2) A. Krizhevsky, I. Sutskever, and G.E. Hinton, “Imagenet classification with deep convolutional neural networks,” Adv. Neural Inf. Process. Syst. 2012, pp. 1097-1105, 2012.
• (3) G. Hinton, L. Deng, D. Yu, G. Dahl, A. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. Sainath, and B. Kingsbury, “Deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups,” IEEE Signal Process. Mag., vol. 29, no. 6, pp. 82-97, Nov. 2012.
• (4) G.E. Dahl, D. Yu, L. Deng, and A. Acero, “Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition,” IEEE Trans. Audio, Speech, Language Process., vol. 20, no. 1, pp. 30-42, Jan. 2012.
• (5) Y. Bengio, R. Ducharme, P. Vincent, and C. Jauvin, “A neural probabilistic language model,” J. Machine Learning Res., vol. 3, pp. 1137-1155, 2003.

タイトルに関連する用語 (7件)： 深層 ,  展開 ,  信号処理アルゴリズム ,  設計 ,  収束 ,  加速 ,  理論