CTDS:マルチエージェント強化学習のための分散学生による集中教師【JST・京大機械翻訳】

Zhao Jian; Hu Xunhan; Yang Mingyu; Zhou Wengang; Zhu Jiangcheng; Li Houqiang

プレプリント

J-GLOBAL ID：202202221087149898 整理番号：22P0305062

CTDS:マルチエージェント強化学習のための分散学生による集中教師【JST・京大機械翻訳】

CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月16日プレプリントサーバーでの情報更新日： 2022年03月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多くのマルチエージェント強化学習(MARL)タスクにおける部分可観測性と通信制約のために,分散実行(CTDE)による集中訓練は,最も広く使用されたMARLパラダイムの1つになった。CTDEにおいて,集中情報は,混合ネットワークによるチーム報酬の割り当てを学習するために専用であり,一方,個々のQ値の学習は通常局所観察に基づいている。地球観測の不十分な有用性は,挑戦的な環境における性能を低下させるであろう。この目的のために,本研究では,教師モデルと学生モデルから成る分散Student(CTDS)フレームワークを持つ新しい集中化教師を提案した。特に,教師モデルは,グローバル観察で条件付けされた個々のQ値を学習することによってチーム報酬を割り当て,一方,学生モデルは,教師モデルによって推定されたQ値を近似するために部分的観察を利用する。この方法で,CTDSは訓練中のグローバル観察の完全利用とオンライン推論のための分散実行の実現可能性をバランスさせる。著者らのCTDSフレームワークは,その性能を高めるために既存のCTDE方法に適用することができる一般的である。著者らは,著者らの方法の有効性をテストするために,StarCraft IIマイクロ管理タスクの挑戦的なセットに関する実験を行い,結果は,CTDSが既存の価値ベースのMARL方法より優れていることを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る