モデルベース強化学習のためのゲーム理論フレームワーク【JST・京大機械翻訳】

Rajeswaran Aravind; Mordatch Igor; Kumar Vikash

プレプリント

J-GLOBAL ID：202202210063214883 整理番号：21P0029353

モデルベース強化学習のためのゲーム理論フレームワーク【JST・京大機械翻訳】

A Game Theoretic Framework for Model Based Reinforcement Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年04月16日プレプリントサーバーでの情報更新日： 2021年03月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

モデルベース強化学習(MBRL)は,最近,サンプル効率の可能性とオフポリシーデータを組み込む能力により,大きな関心を集めている。しかし,豊富な機能近似器を用いた安定で効率的なMBRLアルゴリズムの設計は,依然として困難なままである。MBRLにおける実際的課題を露出して,抽象のレンズからアルゴリズム設計を単純化するために,著者らは,MBRLをゲームとしてキャストする新しいフレームワークを開発した。(1)学習されたモデルの下で報酬を最大化することを試みた政策プレーヤ;(2)モデルプレーヤーは,政策プレーヤーによって収集された実世界データに適合することを試みた。アルゴリズム開発のために,著者らは2つのプレーヤーの間のStackelbergゲームを構築して,それが近似的バイレベル最適化によって解決することができることを示した。これは,Stackelbergゲームのリーダとしてプレーヤーが選択されるMBRLのためのアルゴリズムの2つの自然ファミリーを生じる。まとめると,それらは多くの以前のMBRLアルゴリズムをカプセル化し,統一し,一般化する。さらに,著者らのフレームワークは,先行研究から実際に重要であることが知られている発見的方法に対する明確な基礎を提供する。最後に,実験により,提案アルゴリズムは,高度にサンプル効率が高く,モデルフリーポリシー勾配の漸近性能に整合し,また,デキタスハンドマニピュレーションのような高次元タスクに対して,スケールが優しいことを確認した。付加的詳細とコードは,https://sites.google.com/view/mbrl gameのプロジェクトページから得ることができる。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る