実現可能性と単一ポリシー集中性によるオフライン強化学習【JST・京大機械翻訳】

Zhan Wenhao; Huang Baihe; Huang Audrey; Jiang Nan; Lee Jason D.

プレプリント

J-GLOBAL ID：202202217692144434 整理番号：22P0287246

実現可能性と単一ポリシー集中性によるオフライン強化学習【JST・京大機械翻訳】

Offline Reinforcement Learning with Realizability and Single-policy Concentrability

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年02月09日プレプリントサーバーでの情報更新日： 2022年06月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

オフライン強化学習(RL)のためのサンプル効率保証は,しばしば,関数クラス(例えば,Bellman-完全性)とデータカバレッジ(例えば,全ポリシーコンセントラビリティ)の両方に関する強い仮定に依存する。これらの仮定を緩和する最近の努力にもかかわらず,既存の研究は2つの因子の1つを緩和でき,他の因子の完全な仮定を残す。重要な未解決問題として,著者らは両方の因子に関して弱い仮定によってサンプル効率的オフラインRLを達成することができた。本論文では,ポジティブにおける質問に答えた。オフラインデータに対する密度比関数を用いて,二重変数(占有率)をモデル化するMDPsの一次二重定式化に基づく簡単なアルゴリズムを解析した。適切な正則化により,このアルゴリズムは,実現可能性と単一ポリシーコンセントラビリティの下で多項式サンプル複雑性を楽しむことを示した。また,オフラインRLに対する一次二重アルゴリズムの性質に光を当てるために,異なる仮定に基づく代替解析も提供した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , システム設計・解析

, ,

前のページに戻る