文献

J-GLOBAL ID：202002211794821067   整理番号：20A2354280

ファジィ制御ルールにより表現された方策を持つ方策勾配法:自動車の速度制御問題への適用

Policy Gradient Reinforcement Learning for Policy Represented by Fuzzy Rules: Application to Simulations on Speed Control of an Automobile

著者 (2件)： 石原聖司 (東京電機大学理工学部) ,  五十嵐治一 (芝浦工業大学工学部)
資料名： 知能と情報  (日本知能情報ファジィ学会誌)
巻： 32  号： 4  ページ： 801-810(J-STAGE)  発行年： 2020年08月15日 
JST資料番号： L0501A  ISSN： 1347-7986  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ファジィ制御ルールによる行動決定のための方策の表現と方策勾配法による強化学習とを融合し,ファジィ制御ルールにおけるルール重みをエピソードあたりの報酬の期待値が極大となるように学習する方式が提案されている.この融合方式が自動車の速度制御の問題へ適用された研究例では,得られた結果の中に良好な解が見つかった一方,速度の望ましくない変動を生じる解も多く含まれていた.一般に,出力値に急な時間変化や振動をもたらす方策は望ましくなく,時間的に滑らかな出力値を与える方策が望ましい事例は多数考えられる.そこで本研究では,学習結果における出力値の急な変動を抑制するための改善策として,重心モデルによる非ファジィ化と時間に関する滑らか拘束項とを導入した目的関数を提案し,この融合方式に関してその場合の学習則を示す.さらに,報酬の与え方による出力値の変動に対する影響についても検討する.自動車の速度制御問題への適用実験の結果,提案した改善法について,出力値の望ましくない時間変動を抑制する効果があることを確認した.報酬関数については,設計の仕方によって学習の結果に悪影響が出る場合のあることを確認した.(著者抄録)

シソーラス用語： *規則 ,  *ファジィ集合 ,  *ファジィ制御 ,  *傾斜法 ,  自動車 ,  速度制御 ,  期待値 ,  *最大化問題 ,  賃金 ,  経時変化 ,  効果 ,  インセンティブ
準シソーラス用語： *ファジィルール ,  学習効果 ,  *勾配法 ,  報酬

著者キーワード (10件)： ファジィ制御 ,  強化学習 ,  方策勾配法 ,  重心モデル ,  速度制御問題 ,  fuzzy controller ,  reinforcement learning ,  policy gradient method ,  center of gravity model ,  speed control problem

分類 (4件)： 人工知能  (JE08000Z) ,  システム・制御理論一般  (IA02010H) ,  制御工学一般  (IC01000V) ,  その他のオペレーションズリサーチの手法  (KA03070E)

引用文献 (17件)：

• [1] V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg, and D. Hassabis: “Human-Level Control through Deep Reinforcement Learning,” Nature, Vol.518, pp. 529-533, 2015.
• [2] D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, and D. Hassabis: “Mastering the Game of Go with Deep Neural Networks and Tree Search,” Nature, Vol.529, pp. 484-489, 2016.
• [3] Y. Duan, X. Chen, R. Houthooft, J. Schulman, and P. Abbeel: “Benchmarking Deep Reinforcement Learning for Continuous Control,” Proc. of the 33rd Int. Conf. on Machine Learning (ICML2016), Vol.48, Jun. 19-24, New York, pp. 1329-1338, 2016.
• [4] 美添一樹: “5分で分かる! ? 有名論文ナナメ読み:Silver, D. et al.: Mastering the Game of Go without Human Knowledge,” 情報処理, Vol.59, No.8, pp. 750-752, 2018.
• [5] H. Igarashi and S. Ishihara: “An Algorithm of Policy Gradient Reinforcement Learning with a Fuzzy Controller in Policies,” Int. J. of Artificial Intelligence and Expert Systems, Vol.4, pp. 17-26, 2013.

タイトルに関連する用語 (7件)： ファジィ制御 ,  ルール ,  表現 ,  方策 ,  方策勾配法 ,  自動車 ,  速度制御