文献

J-GLOBAL ID：202402235028320275   整理番号：24A1760692

観測への敵対的摂動を介した模倣学習による深層強化学習エージェントへの標的型操作攻撃

Targeted Manipulation Attacks on Reinforcement Learning Agents through Imitation Learning with Perturbed Observations

著者 (6件)： 山辺翔二郎 (東京工大) ,  福地一斗 (筑波大) ,  福地一斗 (理研) ,  仙田涼摩 (理研) ,  佐久間淳 (東京工大) ,  佐久間淳 (理研)
資料名： 人工知能学会全国大会論文集(Web)  (Proceedings of the Annual Conference of JSAI (Web))
巻： 38th  ページ： ROMBUNNO.2G1-GS-11-03(J-STAGE)  発行年： 2024年 
JST資料番号： U1701A  ISSN： 2758-7347  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 近年,深層強化学習の発展により自動運転など様々な分野における活用が期待されている.しかし,深層強化学習には敵対的攻撃に対する脆弱性が知られており,実世界への応用のためには強化学習エージェントの頑健性を改善することが求められる.本研究では脆弱性を調査するために実世界の攻撃を想定した標的型操作攻撃手法を提案する.攻撃設定として敵対者は攻撃対象エージェントの観測に介入する.敵対者の目的は攻撃対象エージェントの操作であり,行わせたい振る舞いを軌跡として表現し,それを模倣する様に攻撃する.本研究では攻撃者の目的を模倣学習の問題として扱い,逆強化学習を用いて軌跡を報酬関数に変換したときマルコフ決定過程において通常の方策と同様に学習可能であることを示した.また,逆強化学習の大きな計算コストを抑えるために,模倣学習手法の一つであるGAILが本攻撃設定に適応可能であることを理論的に証明し,攻撃アルゴリズムを示した.最後に,強化学習用ベンチマークMetaWorldにおける実験によって攻撃性能を評価し,設定した脅威モデルのもとで標的型操作攻撃が成功することを示した.(著者抄録)

シソーラス用語： *強化学習 ,  *機械学習 ,  *サイバー攻撃 ,  摂動 ,  自動運転 ,  ロバスト性 ,  実用化 ,  Markov過程 ,  学習制御 ,  測定データ ,  *深層強化学習
準シソーラス用語： Markov決定過程 ,  逆強化学習 ,  *情報攻撃 ,  模倣学習 ,  観測データ

分類 (2件)： 人工知能  (JE08000Z) ,  データ保護  (JD01020V)

タイトルに関連する用語 (8件)： 観測 ,  敵対 ,  摂動 ,  模倣学習 ,  深層強化学習 ,  エージェント ,  標的 ,  攻撃