文献

J-GLOBAL ID：202202266965346338   整理番号：22A0984833

一定ステップサイズSGD型アルゴリズムの定常挙動 漸近特性化【JST・京大機械翻訳】

Stationary Behavior of Constant Stepsize SGD Type Algorithms An Asymptotic Characterization

著者 (3件)： Chen Zaiwei (Georgia Institute of Technology, Atlanta, GA, USA) ,  Mou Shancong (Georgia Institute of Technology, Atlanta, GA, USA) ,  Maguluri Siva Theja (Georgia Institute of Technology, Atlanta, GA, USA)
資料名： Proceedings of the ACM on Measurement and Analysis of Computing Systems  (Proceedings of the ACM on Measurement and Analysis of Computing Systems)
巻： 6  号： 1  ページ： 1-24  発行年： 2022年 
JST資料番号： W5682A  ISSN： 2476-1249  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 確率的近似(SA)と確率的勾配降下(SGD)アルゴリズムは,現代の機械学習アルゴリズムのための作業員である。それらの一定のステップサイズバリアントは,高速収束挙動のために実際に好ましい。しかし,一定ステップサイズSAアルゴリズムは最適解に収束しないが,代わりに定常分布を持ち,一般に解析的に特性化できない。本研究では,一定ステップサイズがゼロになるときの極限において,適切に縮尺した定常分布の漸近挙動について研究した。特に次の3つの設定を考察した。(1)平滑で強い凸の目的を持つSGDアルゴリズム,(2)Hurwitz行列を含む線形SAアルゴリズム,(3)契約演算子を含む非線形SAアルゴリズム。αが一定ステップサイズである1/αで反復するとき,制限スケール定常分布は陰的方程式の解であることを示した。この方程式で一意性仮定(ある設定で除去できる)の下で,共分散行列が適切なLyapunov方程式のユニークな解であるGauss分布として限界分布をさらに特徴付ける。これらのケースを超えるSAアルゴリズムに対して,著者らの数値実験は,中心極限定理タイプ結果とは異なり,以下のことを示した。1)スケーリング因子は1/αではなく,2)制限分布はGaussではない。数値的研究に基づき,著者らは,正しいスケーリング因子を決定する発見的式を用いて,確率的微分方程式を近似するためのEuler-Maruyama離散化スキームとの洞察を深める。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *アルゴリズム ,  行列 ,  収束 ,  微分方程式 ,  正規分布 ,  *距離 ,  確率近似 ,  中心極限定理 ,  漸近挙動 ,  学習アルゴリズム
準シソーラス用語： 最適解 ,  離散化 ,  *ステップサイズ ,  共分散行列 ,  数値実験 , 【Automatic Indexing@JST】

著者キーワード (4件)： 漸近解析 ,  定常分布 ,  確率近似 ,  確率的勾配降下

分類 (1件)： 信号理論  (ND02020G)

タイトルに関連する用語 (4件)： ステップサイズ ,  アルゴリズム ,  挙動 ,  特性化