文献

J-GLOBAL ID：202002230188323982   整理番号：20A2031482

対話型推薦のための擬似Dyna-Q A強化学習フレームワーク【JST・京大機械翻訳】

Pseudo Dyna-Q A Reinforcement Learning Framework for Interactive Recommendation

著者 (8件)： Zou Lixin (Tsinghua University, Beijing, China) ,  Xia Long (York University, Toronto, Canada) ,  Du Pan (University of Montreal, Montreal, Canada) ,  Zhang Zhuo (University of Melbourne, Melbourne, Australia) ,  Bai Ting (Beijing University of Posts and Telecommunications, Beijing, China) ,  Liu Weidong (Tsinghua University, Beijing, China) ,  Nie Jian-Yun (University of Montreal, Montreal, Canada) ,  Yin Dawei (JD Data Science Lab, Beijing, China)
資料名： ACM Proceedings  (ACM Proceedings)
号： WSDM ’20  ページ： 816-824  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 推薦者システムにおける強化学習(RL)の適用は,実際の顧客との相互作用の制約のために魅力的であるが,実際の顧客との相互作用によるオンライン政策学習を行うのは,通常,顧客経験を害する。実用的な代替案は,ログ付きデータからの推薦エージェントのオフライン構築であり,一方,ログデータオフラインを直接使用すると,伐採政策と推薦政策の間の選択バイアスの問題が生じる。既存の直接オフライン学習アルゴリズム(例えばモンテカルロ法と時間差法)は,収束に関して計算的に高価であるか不安定である。これらの問題に取り組むために,擬似Dyna-Q(PDQ)を提案した。PDQにおいて,実際の顧客との相互作用の代わりに,著者らは,環境をシミュレートして,ログデータの選択バイアスを処理するために設計された世界モデルと呼ばれる顧客シミュレータに頼る。政策改良の間,現在の推薦政策に従って,世界モデルを絶えず更新し,適応的に最適化した。この方法で,提案したPDQは,既存のアプローチの収束と高い計算コストの不安定性を避けるだけでなく,実際の顧客を含むことなく,制限のない相互作用も提供する。さらに,報酬関数の経験的誤差の上限は,学習オフライン政策がより低いバイアスと分散を有することを保証した。広範な実験は,最先端の方法に対する2つの実世界データセットに対するPDQの利点を実証した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： モンテカルロ法 ,  最適化 ,  相互作用 ,  *学習 ,  シミュレータ ,  伐木 ,  バイアス ,  エージェント ,  *強化学習
準シソーラス用語： *対話型 ,  計算コスト ,  オンライン ,  時間差 ,  オフライン ,  報酬関数 , 【Automatic Indexing@JST】

著者キーワード (5件)： 顧客シミュレータ ,  モデルベース強化学習 ,  オフライン政策学習 ,  擬似ダイナ-q ,  レコメンダーシステム

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 対話型 ,  推薦 ,  擬似 ,  強化学習 ,  フレームワーク