文献

J-GLOBAL ID：201702212808576766   整理番号：17A0002962

Importance Weight Aware Updateによる逐次的自然方策勾配推定

Incremental Natural Actor Critic with Importance Weight Aware Update

著者 (3件)： 岩城諒 (大阪大) ,  横山裕樹 (玉川大) ,  浅田稔 (大阪大)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 116  号： 300(IBISML2016 45-99)  ページ： 251-257  発行年： 2016年11月09日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 自然方策勾配法などの強化学習の成功には,適切な学習率の設定が不可欠である。確率的勾配法の適応的学習率として提案されたImportance weight aware update(IWAU)は,パラメータに対して線形な関数近似器の学習において,パラメータの更新が停留点を越えないこと(safety)を保証し,さらに学習率のメタパラメータを設定する必要がない。特に,二乗損失を利用する場合,IWAUは簡潔な形式で表現できる。本研究では,自然方策勾配の推定が,線形回帰と二乗損失の最小化として記述できることに着目して,safetyを満たし,かつチューニングの必要ない新たな適応的学習率を提案する。提案手法を古典的なベンチマーク課題に適用し,有用性を確認する。(著者抄録)

シソーラス用語： *傾斜法 ,  強化学習 ,  回帰分析 ,  推定 ,  Markov過程 ,  *機械学習
準シソーラス用語： Markov決定過程 ,  線形回帰 ,  *逐次学習 ,  逐次推定 ,  *方策勾配法

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (3件)： 逐次 ,  方策 ,  勾配推定