3DPG:ネットワーク化マルチエージェントシステムのための分散型ディープ決定論的ポリシー勾配アルゴリズム【JST・京大機械翻訳】

Redder Adrian; Ramaswamy Arunselvan; Karl Holger

プレプリント

J-GLOBAL ID：202202217101291000 整理番号：22P0022807

3DPG:ネットワーク化マルチエージェントシステムのための分散型ディープ決定論的ポリシー勾配アルゴリズム【JST・京大機械翻訳】

3DPG: Distributed Deep Deterministic Policy Gradient Algorithms for Networked Multi-Agent Systems

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月03日プレプリントサーバーでの情報更新日： 2022年11月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Markovゲームのためのマルチエージェントアクター-批評(MAAC)アルゴリズムである分散深層決定論的ポリシー勾配(3DPG)を提示した。以前のMAACアルゴリズムとは異なり,3DPGは訓練と展開の両方で完全に分布する。3DPGエージェントは,他のエージェントの最も最近利用可能な局所データ(状態,行動)および局所政策に基づく局所政策勾配を計算する。訓練中,この情報は潜在的に損失性で遅延通信ネットワークを用いて交換される。したがって,ネットワークは,データおよび政策のための情報(AoI)の年齢を誘導する。情報(AoI)の潜在的に非有界な年齢の存在下でも3DPGの漸近収束を証明した。これは,3DPGが決定論的に利用可能な情報を仮定しないので,実用的オンラインおよび分散型マルチエージェント学習に向けた重要なステップを提供する。マイルドな実用的仮定の下で,政策とデータ転送の存在下で3DPGを分析した。この解析は,3DPGエージェントがエージェント局所近似行動値関数(Q関数)の期待値として表現される効用関数に関してMarkovゲームの局所Nash均衡に収束することを示した。局所Q関数の期待は,エージェントが蓄積した局所経験によって成形された大域的状態行動空間上の制限分布に関するものである。結果はまた一般的なMAACアルゴリズムにより得られた政策に光を当てた。発見的議論と数値実験を通して,3DPGが訓練中の古いポリシーの代わりに古い行動を使用する以前のMAACアルゴリズムよりも収束を改善することを示した。さらに,3DPGはAoIに対してロバストであることを示した。それは,大きなAoIと低いデータアベイラビリティでも競合政策を学習する。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

通信網 , システム設計・解析

前のページに戻る