文献

J-GLOBAL ID：201302255306392347   整理番号：13A0026256

時間整合的マルコフ決定過程のロバスト性

Robustness of time-consistent Markov decision processes

著者 (1件)： OSOGAMI Takayuki (IBM Res.-Tokyo)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 112  号： 279(IBISML2012 34-92)  ページ： 45-52  発行年： 2012年10月31日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： マルコフ決定過程(MDP)の目的関数が,単調性を持つ反復的リスク指標である場合には,そのMDPの最適施策が動的計画法によって求められることを示す。単調性を持つ反復的リスク指標が更に並進不変性を持つ場合には,MDPの最適施策がより効率的に求められることを示す。期待効用では表現できないが理にかなっていると思われるリスク選好が,反復的リスク指標で表現できることを示す。更に,ある反復的リスク指標の最小化を目的とするMDPは,ロバストMDPとして解釈できることを示す。ロバストMDPは,MDPのパラメータ値が不確実であることを前提とし,最悪の場合に対して,累積期待コストなどを最小化することを目的とする。具体的には,期待指数効用の最小化を目的とするMDPは,期待値からパラメータの基準値からの乖離度のカルバック・ライブラー距離を減じた値を,最悪の場合において最小化するロバストMDPと等価であることを示す。また,コヒーレントなリスク指標からなる反復的リスク指標の値を最小化することを目的とするMDPは,ある凹関数によって不確実性が特徴付けられるロバストMDPと等価であることを示す。(著者抄録)

シソーラス用語： *Markov過程 ,  *動的計画法 ,  *ロバスト性 ,  期待値 ,  エントロピー ,  情報量 ,  コヒーレンス ,  不確実性 ,  *意思決定 ,  目的関数 ,  汎化
準シソーラス用語： Kullback-Leiblerダイバージェンス ,  *Markov決定過程 ,  リスク指標 ,  単調性 ,  汎化誤差

分類 (1件)： 数理計画法  (KA03030M)

引用文献 (8件)：

• Charalambous, C.D. Relationsicn iiifonnal ion t heory, roL)ustness, and statist i-Pcal mechanics of stochastic systems. Proceedings oN-the I 43rd IEEE Conference on Decision and Control,. 2004, 4, 3479-3484
• Follmer, H. Stochastic Finance: An Introduc-S tionML iscrete Time. 2010
• HARDU, M.R. The iterated CTE: A dynamic. risk measure. North American Actuarial Journal. 2004, 8, 62-75
• Nilim, A. Robust control of Markov decision processes with uncertain transition matric. Operations Research. 2005, 53, 5, 780-798
• Osogami, T. Overcoming limitations of expected utility Qwith iterated risk measure. 2010

タイトルに関連する用語 (3件)： 整合 ,  マルコフ決定過程 ,  ロバスト性