文献

J-GLOBAL ID：202302218211830370   整理番号：23A2171573

深層展開による粒子型変分推定の収束加速

Convergence Acceleration of Particle-based Variational Inference by Deep Unfolding

著者 (2件)： 河村祐弥 (東京工大) ,  高邉賢史 (東京工大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 123  号： 97(CAS2023 1-29)  ページ： 37-42 (WEB ONLY)  発行年： 2023年06月29日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： Stein Variational Gradient Descent(SVGD)は確率的モデルにおいて事後分布を推定する代表的な粒子型変分推定法であり,その高い近似性能から多くの注目を集めている.本稿では,SVGDに対し深層展開と呼ばれる深層学習手法を適用したアルゴリズムを提案する.これにより,SVGDの内部パラメータを学習しアルゴリズムの収束加速を目指す.提案した2種類の学習型SVGDの性能を評価するため,1次元混合ガウス分布のサンプリング,ベイズロジスティック回帰,ベイズニューラルネットワークという異なる3個のタスクに対して,計算機シミュレーションを行った.結果として,従来のSVGDと比較して,提案アルゴリズムがより速い収束を達成することをが明らかとなった.(著者抄録)

シソーラス用語： *変分法 ,  *最急降下法 ,  収束 ,  高速アルゴリズム ,  機械学習 ,  ニューラルネットワーク ,  正規分布 ,  回帰分析 ,  パラメータ推定 ,  深層学習
準シソーラス用語： ロジスティック回帰 ,  混合Gauss分布

分類 (1件)： 数理計画法  (KA03030M)

引用文献 (12件)：

• Q. Liu and D. Wang, “Stein variational gradient descent: a general purpose Bayesian inference algorithm,” Advances In Neural Information Processing Systems, pp. 2378-2386, 2016.
• C. Liu, J. Zhuo, P. Cheng, R. Zhang, and J. Zhu, “Understanding and accelerating particle-based variational inference,” In International Conference on Machine Learning, pp. 4082-4092, 2019.
• K. Gregor and Y. LeCun, “Learning Fast Approximations of Sparse Coding,” International Conference on Machine Learning, pp. 399-406, 2010.
• D. Ito, S. Takabe and T. Wadayama, “Trainable ISTA for Sparse Signal Recovery,” IEEE Transactions on Signal Processing, vol. 67, no. 12, pp. 3113-3125,2019.
• S. Takabe and T.Wadayama, “Chebyshev Periodical Successive Over-Relaxation for Accelerating Fixed-Point Iterations,” IEEE Signal Processing Letters, vol. 28, pp. 907-911, 2021.

タイトルに関連する用語 (5件)： 深層展開 ,  変分 ,  推定 ,  収束 ,  加速