文献

J-GLOBAL ID：202002279512885683   整理番号：20A2053393

深層展開による勾配法の収束加速に関する理論的考察

Theoretical analysis of convergence acceleration of deep-unfolded gradient descent

著者 (2件)： 高邉賢史 (名古屋工大) ,  和田山正 (名古屋工大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 120  号： 142(SIP2020 27-40)  ページ： 25-30 (WEB ONLY)  発行年： 2020年08月20日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年信号処理分野では深層展開と呼ばれる深層学習手法の適用例が増加している.深層展開は既存の反復アルゴリズムに学習可能パラメタを導入することで,訓練データから適切なパラメタの値を学習し,アルゴリズムの収束速度の改善といった収束性能の向上を目指すものである.本稿では,深層展開型アルゴリズムがなぜ収束加速を実現するか,という問いに答えるため,深層展開型勾配法の理論的解析を行った.その結果として,チェビシェフステップと呼ばれるチェビシェフ多項式に基づくステップサイズ列が深層展開型勾配法の学習結果をよく再現し,勾配法の収束レートを改善することを示す.(著者抄録)

シソーラス用語： 深層 ,  展開 ,  *傾斜法 ,  収束 ,  *信号処理 ,  *機械学習 ,  アルゴリズム ,  パラメータ ,  学習 ,  速度 ,  Chebyshev多項式 ,  距離 ,  収束速度 ,  *深層学習 ,  反復アルゴリズム
準シソーラス用語： ステップサイズ ,  *勾配法

分類 (2件)： 計算理論  (JB02000A) ,  人工知能  (JE08000Z)

引用文献 (17件)：

• K. Gregor, and Y. LeCun, “Learning fast approximations of sparse coding,” Proc. 27th Int. Conf. Machine Learning, pp. 399-406, 2010.
• A. Balatsoukas-Stimming and C. Studer “Deep unfolding for communications systems: a survey and some new directions,” 2019 IEEE Int. Workshop Signal Process. Sys. (SiPS), Nanjing, China, 2019, pp. 266-271.
• V. Monga, Y. Li, and Y. C. Eldar, “Algorithm unrolling: Interpretable, efficient deep learning for signal and image processing,” arXiv:1912.10557, 2019.
• 和田山正,高邉賢史,「深層展開に基づく信号処理アルゴリズムの設計」電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, 14巻, 1号, p. 60-72,2020年7月.
• D. L. Donoho, “Compressed sensing, ” IEEE Trans. Inform. Theory, vol. 52, no.4, pp. 1289-1306, 2006.

タイトルに関連する用語 (5件)： 深層展開 ,  勾配法 ,  収束 ,  加速 ,  理論