文献

J-GLOBAL ID：202202230940253361   整理番号：22A0917478

強化学習におけるサンプル複雑性の地平依存性の沈降【JST・京大機械翻訳】

Settling the Horizon-Dependence of Sample Complexity in Reinforcement Learning

著者 (3件)： Li Yuanzhi (Carnegie Mellon University,Pittsburgh,USA) ,  Wang Ruosong (Carnegie Mellon University,Pittsburgh,USA) ,  Yang Lin F. (University of California, Los Angeles,Los Angeles,USA)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2022  号： FOCS  ページ： 965-976  発行年： 2022年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 最近,強化学習(RL)におけるサンプル複雑性の水平依存性に関心が寄せられている。特に,水平長Hを有するRL環境に対して,以前の研究は,状態および行動の数が固定されているとき,環境相互作用のポリログ(H)エピソードを用いてO(1)最適ポリシーを学習する,おそらく近似的に正しい(PAC)アルゴリズムがあることを示した。ポリログ(H)依存性が必要かどうかは不明である。本研究では,環境相互作用のO(1)エピソードのみを用いて,同じPAC保証を達成するアルゴリズムを開発することにより,この問題を解決し,RLにおけるサンプル複雑性の水平依存性を完全に沈降させた。(i)割引と有限水平Markov決定プロセス(MDP)における値関数と(ii)MDPsにおける新しい摂動解析の間の関係を確立することにより,この境界を達成した。この新技術は独立した興味であり,RLにおける関連質問に適用できると信じる。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  相互作用 ,  *沈降 ,  近似法 ,  *強化学習
準シソーラス用語： 複雑性 ,  摂動解析 , 【Automatic Indexing@JST】

分類 (5件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S) ,  音声処理  (JE05000E) ,  符号理論  (ND02030R) ,  専用演算制御装置  (JC04030Y)

タイトルに関連する用語 (5件)： 強化学習 ,  サンプル ,  複雑性 ,  依存性 ,  沈降