抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
本論文は,オフライン強化学習(RL)に関心があり,更なる探索なしに事前収集データを用いて学習する。効果的なオフラインRLは,分布シフトと限られたデータカバレッジを収容できる。しかしながら,事前アルゴリズムまたは分析は,サンプル最適性に達するために,最適以下のサンプル複雑性または高いバーンインコストに悩まし,このように,サンプル飢餓応用における効率的オフラインRLへの障害を提起する。著者らは,モデルベース(または「プラグイン」)アプローチが,タブーラMarkov決定プロセス(MDP)のためのバーンインコストなしでミニマックス最適サンプル複雑性を達成することを実証した。具体的には,S状態と水平H(resp.有効水平1/1-γ)を有する有限水平(resp.γ-discounted 無限-horizon)MDPを考察し,データの分布シフトを,いくつかの単一ポリシークリップコンセントリック係数C ̄*_clipedによって反映した。著者らは,モデルベースのオフラインRLが,[frac{H ̄{4}SC_{clipped} ̄{2} ̄{2}(有限-水平MDPs)frac{SC_{clipped} ̄{2}(無限-水平MDPs)のサンプル複雑性を有するε-精度を,全ε-範囲に対して最小である最大log因子まで,証明した。”ことを証明した。”.”frac{H ̄{4}SC_{clipped} ̄{2} ̄{2}(無限-horizon MDP)](無限-水平MDPs)は,全ε-範囲に対して最小である。提案したアルゴリズムは,Bernstein型ペナルティによる値反復の「単純」バリアントであり,洗練された分散低減を必要としない。この解析フレームワークは,MDPsに合わせた注意深い自己結合技術と併せて,繊細なleave-one-outデカップリング議論によって確立された。【JST・京大機械翻訳】
