潜在空間モデルを用いた画像からのオフライン強化学習【JST・京大機械翻訳】

Rafailov Rafael; Yu Tianhe; Rajeswaran Aravind; Finn Chelsea

プレプリント

J-GLOBAL ID：202202219673217024 整理番号：22P0219794

潜在空間モデルを用いた画像からのオフライン強化学習【JST・京大機械翻訳】

Offline Reinforcement Learning from Images with Latent Space Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年12月21日プレプリントサーバーでの情報更新日： 2020年12月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

オフライン強化学習(RL)は,環境相互作用の静的データセットからの学習ポリシーの問題に言及する。オフラインRLは,歴史的データセットの広範な使用と再利用を可能にし,一方,オンライン探査に関連した安全懸念を軽減し,それによってRLの実世界応用性を拡大した。オフラインRLにおけるほとんどの先行研究は,コンパクトな状態表現によるタスクに焦点を合わせている。しかし,画像のような豊富な観測空間から直接的に学習する能力はロボット工学のような実世界アプリケーションにとって重要である。本研究では,オフラインRLのためのモデルベースアルゴリズムの最近の進歩を構築し,それらを高次元視覚観測空間に拡張した。モデルベースのオフラインRLアルゴリズムは,状態ベースのタスクにおける最新の結果の状態を達成して,強い理論的保証を持っている。しかし,それらはモデル予測における不確実性を定量化する能力に決定的に依存するが,これは特に画像観察で困難である。この課題を克服するために,潜在状態動力学モデルを学習し,潜在空間の不確実性を表すことを提案した。提案アプローチは実際に扱いやすく,未知のPOMDPにおけるELBOの下限を最大化できる。挑戦的な画像ベース移動と操作タスクの範囲に関する実験において,著者らのアルゴリズムが,最先端のオンライン視覚モデルベースのRL法と同様に,以前のオフラインモデルフリーRL法よりも著しく優れていることを見出した。さらに,提案手法は,既存のデータセットを用いて実ロボット上で画像ベースドロー閉鎖タスク上で優れていることも見出した。ビデオを含むすべての結果は,https://sites.google.com/view/lompo/でオンラインで見つけることができる。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , ロボットの運動・制御

, ,

前のページに戻る