抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
著者らは,Zengらによる「Glasping」(VPG)システムおよびEwertonらによる「Hourglass」システム(前者の進化)の「Visual Pushing」を研究した。本研究の焦点は,長期報酬と政策を学ぶ両方のシステムの能力の調査である。Zeng et al.オリジナルタスクは,限られた量の予測を必要とするだけであった。Ewertonらは,考慮の下で最も即時の行動を取るだけのエージェントを使用して,それらの最良の性能を達成する。長期Q値を正確に予測するための,それらのモデルと訓練アルゴリズムの能力に関心がある。この能力を評価するために,新しいビンソーティングタスクと報酬関数を設計した。本タスクは,将来の報酬を正確に推定するためのエージェントを必要とし,従って,それらのQ値計算において高い割引因子を使用する。このタスクに対するVPG訓練アルゴリズムの適応の挙動を研究した。この適応は必要な長期行動シーケンスを正確に予測できないことを示した。Ewertonらによって同定された限界に加えて,それは過大評価Q値に関する既知の深いQ学習問題を被る。著者らのタスクを解決する努力において,著者らはHourglassモデルに代わって,それらを二重Q学習アプローチと結合させた。このアプローチにより,大きな割引因子で訓練された場合,長期行動シーケンスを正確に予測できることを示した。結果は,二重Q学習技術が,モデルQ値予測が他に発散するので,非常に高い割引因子による訓練に必須であることを示した。また,割引因子スケジューリング,損失計算および探査手順のための異なるアプローチによる実験も行った。結果は,後者の因子が,著者らのタスクのモデルの性能に,明らかに影響しないことを示した。【JST・京大機械翻訳】
