TUSLAによるニューラルネットワークの馴化:適応確率勾配Langevinアルゴリズムによる非凸学習【JST・京大機械翻訳】

Lovas Attila; Lytras Iosif; Rasonyi Miklos; Sabanis Sotirios

プレプリント

J-GLOBAL ID：202202205399073222 整理番号：21P0037178

TUSLAによるニューラルネットワークの馴化:適応確率勾配Langevinアルゴリズムによる非凸学習【JST・京大機械翻訳】

Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年06月25日プレプリントサーバーでの情報更新日： 2023年01月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

人工ニューラルネットワーク(ANNs)は,それらの関連する非凸損失関数の最適化によって微細に調整される,典型的に高度に非線形なシステムである。多くの場合,そのような損失関数の勾配は超線形成長を持ち,Euler数値スキームに基づく広く受け入れられた(確率的)勾配降下法の利用を問題とする。ターム非調整確率的Langevinアルゴリズム(TUSLA)と呼ばれるポピュラーな確率的勾配Langevin動力学(SGLD)の適切に構築された変異体に基づく新しい学習アルゴリズムを提案した。また,ANNの利用による非凸学習問題の文脈における新しいアルゴリズム収束特性の非漸近解析も提供した。従って,TUSLAの有限時間保証を提供し,経験的および母集団リスクの近似最小化者を見つける。TUSLAアルゴリズムの根は,citet{tamed-euler,SabanisAoAP},およびcitet{tula}におけるMCMCアルゴリズムで開発した超線形係数を有する拡散プロセスのためのターミング技術に基づいている。数値実験を行い,理論的発見を確認し,ANNのフレームワーク内のバニラSGLDと比較して新しいアルゴリズムの使用の必要性を説明した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 数値計算

, , , , , ,

前のページに戻る