文献

J-GLOBAL ID：201702259837158971   整理番号：17A0002927

混合ガウス分布を用いたサンプルクラスタリングに基づく方策探索

Policy search based on sample clustering with Gaussian mixture model

著者 (2件)： 矢野泰樹 (京大 大学院情報学研究科) ,  前田新一 (京大 大学院情報学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 116  号： 300(IBISML2016 45-99)  ページ： 9-15  発行年： 2016年11月09日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： EM-based Policy Hyper Parameter Exploration(EPHE)(Wang et al.,2016)は,ステップサイズの設定が不要なEMアルゴリズム型の方策改善と決定論的な方策のもとでも確率的に探索を行うことのできるPolicy Gradient Parameter Exploration(PGPE)(Sehnke et al.,2010)の両方を実現した手法である。しかし,EPHEの性能を高めるためには,方策の更新に用いるサンプル系列を累積報酬の高いものにのみ限定する,エリート選択と呼ばれるヒューリスティクスが必要とされていた。しかし,このエリート選択には理論的な裏付けがなく,なぜこれがうまく働くかはよく理解されていない。本研究では,エリート選択を用いた手法を正当化することを意図して,方策パラメータの事前分布を混合ガウス分布で表現することを考えた。混合ガウス分布で表現することで,エリート選択のようにサンプルを適応的にクラスタリングし,更新に役立てることができる。一方,混合ガウス分布の分散をEMアルゴリズム型の方策改善で決定してしまうと,探索が十分に行われていない場合でも分散を小さくしてしまい,しばしば適切な探索が行えなくなる問題が生じることがわかった。そこで,探索が適切に行われるよう分散の調整を行ったところ,エリートと同等もしくはそれ以上の性能を発揮することが確認できた。(著者抄録)

シソーラス用語： *正規分布 ,  最適化手法 ,  サンプル値系 ,  発見的方法 ,  分布 ,  *クラスタ化 ,  関数 ,  *探索理論 ,  強化学習
準シソーラス用語： EMアルゴリズム ,  *クラスタリング ,  *混合Gauss分布 ,  事前分布 ,  報酬関数

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 混合ガウス分布 ,  サンプル ,  クラスタリング ,  方策 ,  探索