優先順位付き経験リプレイの限界の理解と緩和【JST・京大機械翻訳】

Pan Yangchen; Mei Jincheng; Farahmand Amir-massoud; White Martha; Yao Hengshuai; Rohani Mohsen; Luo Jun

プレプリント

J-GLOBAL ID：202202216118344909 整理番号：21P0040334

優先順位付き経験リプレイの限界の理解と緩和【JST・京大機械翻訳】

Understanding and Mitigating the Limitations of Prioritized Experience Replay

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2020年07月18日プレプリントサーバーでの情報更新日： 2022年06月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

優先経験再生(ER)は,多くのドメインにわたってサンプル効率を改善し,大きな注目を集めている。しかし,なぜそのような優先サンプリングが助けるか,その限界についての理論的理解はほとんどない。本研究では,優先したERに深い視点を取り入れた。教師つき学習設定において,平均二乗誤差に対する誤差ベース優先サンプリング法と立方電力損失に対する均一サンプリングの間の等価性を示した。次に,初期学習中の均一サンプリングで収束速度を改善する理由に理論的洞察を与えた。洞察に基づいて,著者らはさらに優先ER法の2つの限界を指摘した。1)サンプルスペースの不十分なカバレッジと2)不十分な範囲。限界を緩和するために,著者らのモデルベースの確率的勾配Langevin動力学サンプリング法を提案した。提案手法は,2つの限界に悩まない, br力法によって推定した理想的な優先順位付けサンプリング分布に近い状態を提供することを示した。離散および連続制御問題の両方について実験を行い,提案アプローチの有効性を示し,自律運転応用における著者らの方法の実際的含意を調べた。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る