文献

J-GLOBAL ID：202102212355086350   整理番号：21A1496577

クラスタごとに状態遷移確率が異なる複数の対象を同時制御するためのマルコフ決定過程

Markov Decision Processes for Simultaneous Control of Multiple Objects with Different State Transition Probabilities in Each Cluster

著者 (4件)： 本村勇人 (早稲田大) ,  鎌塚明 (早稲田大 グローバルエデュケーションセ) ,  風間皐希 (早稲田大) ,  松嶋敏泰 (早稲田大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 120  号： 395(IBISML2020 34-61)  ページ： 47-54 (WEB ONLY)  発行年： 2021年02月23日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： マルコフ決定過程(MDP)は対象の確率的に変化する状態を制御する問題に用いられる代表的なモデルの一つであり,極めて広範な分野で活用されている.例えば,一人の利用者に対する推薦システムに関する問題は,MDPによってモデル化できる.しかしながら,現実の推薦システムの利用者(制御対象)は一人ではなく複数人であり,さらに,購買傾向は共通の趣向をもつ(同一のクラスタに属する)利用者ごとに異なっていると考えられる.したがって,こうした推薦システムの特徴を表現するためには,従来のMDPでは不十分である.その上,一般に,利用者の購買傾向は未知であるため,状態遷移確率関数を各利用者の履歴データから学習する問題設定を考える必要がある.そこで本研究では,制御対象が複数であり,かつ,クラスタによって状態遷移確率が異なるマルコフ決定過程モデル(拡張MDPモデル)を提案し,事前に収集した各制御対象の履歴データから政策を求める問題を考える.まず,状態遷移確率が既知の場合および未知の場合において,ベイズ決定理論に基づいて問題を定式化し,そのもとで最適解を導出する.その後,最適解を計算する手法を提案する.(著者抄録)

シソーラス用語： 情報システム ,  情報サービス ,  移動 ,  *遷移確率 ,  *Markov過程 ,  Bayes推定 ,  機械学習 ,  集団 ,  決定理論 ,  アルゴリズム ,  クラスタ ,  実験 ,  *購買行動 ,  解
準シソーラス用語： Bayes理論 ,  Markov決定過程 ,  最適解 ,  状態遷移 ,  推薦システム ,  統計的決定理論 ,  評価実験

分類 (2件)： 数値計算  (JE02000J) ,  マーケティング一般  (KA06010L)

引用文献 (14件)：

• R. BELLMAN, “A markovian decision process,” Journal of Mathematics and Mechanics, vol.6, no.5, pp.679-684, 1957.
• R.A. Howard, Dynamic Programming and Markov Processes, MIT Press, Cambridge, MA, 1960.
• 前田康成,浮田善文,松嶋敏泰,平澤茂一,“学習期間と制御期間に分割された強化学習問題における最適アルゴリズムの提案,” 情報処理学会論文誌,vol.39,no.4,pp.1116-1126,1998.
• C.J.C.H. Watkins and P. Dayan, “Q-learning,” Machine Learning, pp.279-292, 1992.
• 桑田修平,前田康成,松嶋敏泰,平澤茂一,“Variable order transition probability markov decision process for the recommendation system,” 情報処理学会論文誌数理モデル化と応用(TOM), vol.6, no.1, pp.20-30, 2013.

タイトルに関連する用語 (3件)： クラスタ ,  遷移確率 ,  マルコフ決定過程