文献

J-GLOBAL ID：201202207661792729   整理番号：12A0171698

方策勾配推定の解析と改善

Analysis and improvement of policy gradient estimation

著者 (4件)： ZHAO Tingting ,  HACHIYA Hirotaka ,  NIU Gang ,  SUGIYAMA Masashi
資料名： Neural Networks  (Neural Networks)
巻： 26  ページ： 118-129  発行年： 2012年02月 
JST資料番号： T0698A  ISSN： 0893-6080  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 方策勾配法は有用なモデルなし強化学習法であるが,勾配推定値の不安定性が問題となる傾向がある。本論文では,方策勾配法の不安定性を解析し改善する。まず,PGPE(パラメータベースの探索による方策勾配)法の勾配推定値の分散が,緩い仮定の下で古典的なREINFORCE法のそれよりも小さいことを証明する。そして,PGPEに対する最適ベースラインを導き出す。これは分散をさらに小さくすることに寄与する。また,勾配推定値の分散の観点から,最適ベースラインを持つREINFORCEよりも最適ベースラインを持つPGPEの方が望ましいことを理論的に示す。最後に,改良PGPE法の有用性を実験により実証する。Copyright 2012 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.

シソーラス用語： *強化学習 ,  *統計的推定 ,  勾配 ,  不安定性 ,  解析 ,  推定量 ,  分散【variance】 ,  減少 ,  バイアス ,  パラメータ ,  探索問題 ,  基準線 ,  最適化
準シソーラス用語： 分散低減 ,  方策勾配法 ,  理論解析

分類 (2件)： 人工知能  (JE08000Z) ,  システム・制御理論一般  (IA02010H)

タイトルに関連する用語 (3件)： 方策 ,  勾配推定 ,  解析