確率的変分不等式のための簡単で最適な方法,II:強化学習におけるMarkov雑音と政策評価【JST・京大機械翻訳】

Kotsalis Georgios; Lan Guanghui; Li Tianjiao

プレプリント

J-GLOBAL ID：202202219537095489 整理番号：21P0061686

確率的変分不等式のための簡単で最適な方法,II:強化学習におけるMarkov雑音と政策評価【JST・京大機械翻訳】

Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年11月14日プレプリントサーバーでの情報更新日： 2021年08月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文の焦点は,Markov雑音の下での確率的変分不等式(VI)である。著者らのアルゴリズム開発の顕著な応用は,強化学習における確率的政策評価問題である。文献の事前調査では,確率的サブ勾配降下により動機づけられた非平滑有限時間解析を採用することによる時間差(TD)学習に焦点を当て,ある限界を導いた。これらは,アプリオリ定義ユークリッドボールへの射影を含む修正TDアルゴリズムを解析する要求を包含し,非最適収束速度を達成し,並列実装の有益な効果を導く明確な方法がない。本アプローチは,確率的VIsのより広い文脈において,特に確率的政策評価に来るとき,これらの欠点を修復する。著者らは,その単純性を維持する元のバージョンによって動機づけられた多様な簡単なTD学習型アルゴリズムを開発し,一方,非漸近解析の観点から明確な利点を提供した。最初に,並列実装から利益を得ることができる標準TDアルゴリズムの改善された解析を提供した。次に,確率的反復の周期的更新を含む条件付きTDアルゴリズム(CTD)のバージョンを提示し,それによりバイアスを低減し,従って反復複雑度を改善した。これは,CTDの要素と随伴論文の確率的演算子外挿法を組み合わせた高速TD(FTD)アルゴリズムをもたらした。新しいインデックスリセット政策FTDは,最良の既知の収束速度を示した。また,1に近い割引因子に特に適したアルゴリズムのロバストバージョンを考案した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る