文献

J-GLOBAL ID：201002272697348843   整理番号：10A0587702

選択的不感化ニューラルネットを用いた強化学習の価値関数近似

著者 (4件)： 新保智之 (筑波大 大学院システム情報工学研究科) ,  山根健 (筑波大 大学院システム情報工学研究科) ,  田中文英 (筑波大 大学院システム情報工学研究科) ,  森田昌彦 (筑波大 大学院システム情報工学研究科)
資料名： 電子情報通信学会論文誌 D  (IEICE Transactions on Information and Systems (Japanese Edition))
巻： J93-D  号： 6  ページ： 837-847  発行年： 2010年06月01日 
JST資料番号： S0757C  ISSN： 1880-4535  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 連続状態空間で強化学習を行う場合,価値関数を少ないサンプルで精度良く近似することが重要であるが,従来用いられてきた局所的近似手法は,近似精度と学習効率の両立が困難である上に,状態空間の次元が高くなると学習時間や計算コストが爆発的に増大するという問題を抱えている。本研究では,選択的不感化ニューラルネットを用いて関数近似器を構成するとともに,これによって価値関数を近似することでこの問題が大きく改善できることを示す。アクロボットの振り上げ課題を用いた実験の結果,本手法は学習効率が近似精度の割に高く,冗長変数を加えてもほとんど低下しない,状態空間の次元が増えても計算コストの爆発的増加が生じない,オンライン学習が可能など,実空間における強化学習に適した性質を備えることが分かった。この結果は,膨大な情報の中から必要な情報だけを抽出する情報処理技術の開発にもつながると考えられる。(著者抄録)

シソーラス用語： *強化学習 ,  *評価関数 ,  *関数近似 ,  ニューラルネットワーク ,  高次元 ,  空間 ,  マニピュレータ ,  関節ロボット ,  学習 ,  アクロバットロボット ,  ロボット
準シソーラス用語： 状態空間 ,  アクロボット ,  オンライン学習 ,  Q学習

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (15件)：

• R. S. Sutton and A. G. Barto, Reinforcement Learn ing, MIT Press, 1998.
• J. Park and I. W. Sandberg,“Universal approxima tion using radial-basis-function networks,” Neural Comput., vol.3, no.2, pp. 246-257, 1991.
• F. Rivest, Y. Bengio, and J. Kalaska,“Brain inspired reinforcement learning,” Neural Information Process ing Systems, Vancouver, CA, 2004.
• R. Coulom,“High-accuracy value-function approxi mation with neural networks applied to the acrobot,” European Symposium on Artificial Neural Networks, pp. 7-12, 2004.
• 柴田克成, 岡部洋一, 伊藤宏司, “ニューラルネットワークを用いたDirect-vision-based強化学習--センサからモータまで,”計測自動制御学会論文集, voL37, no2, pp. 168-177, 2001.

タイトルに関連する用語 (4件)： ニューラルネット ,  強化学習 ,  価値関数 ,  近似