バイシミュレーションメトリックスによる近似ポリシー反復【JST・京大機械翻訳】

Kemertas Mete; Jepson Allan

プレプリント

J-GLOBAL ID：202202201750075495 整理番号：22P0285493

バイシミュレーションメトリックスによる近似ポリシー反復【JST・京大機械翻訳】

Approximate Policy Iteration with Bisimulation Metrics

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月06日プレプリントサーバーでの情報更新日： 2022年11月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

バイシミュレーションメトリックは,報酬シーケンスの比較に基づくMarkov決定プロセス(MDP)の状態間の距離測度を定義する。この特性により,それらは価値関数近似(VFA)における理論的保証を提供する。本研究では,まず,バイシミュレーションおよびπ-バイシミュレーションメトリックスを,最近の研究で使用された様々な状態類似性メトリックを統一する,より一般的なクラスのSinkorn距離により定義できることを証明した。次に,著者らは,VFAのために状態空間のバイシミュレーションベースの離散化を使用する近似的政策反復(API)手順を記述して,漸近性能限界を証明した。次に,著者らは,政策自体の変化に関して,π-biシミュレーション計量の間の差異を結合した。これらの結果に基づいて,保存的ポリシー更新を採用し,ナイーブAPIアプローチよりも優れた性能限界を楽しむAPI(α)手順を設計した。ここでは,そのようなAPI手順が,状態表現学習のためのバイシミュレーションメトリックを用いる実用的アクター-批評法にいかにマップするかを議論した。最後に,著者らの理論的結果を検証し,有限MDPsのためのバイシミュレーションベースのAPIの実装に基づく制御された経験的解析によって,それらの実用的含意を調べた。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能 , 計算理論 , 計算機システム開発 , システム・制御理論一般 , 数理計画法

前のページに戻る