高速敵対訓練の理解と改善【JST・京大機械翻訳】

Andriushchenko Maksym; Flammarion Nicolas

プレプリント

J-GLOBAL ID：202202204270233375 整理番号：22P0167617

高速敵対訓練の理解と改善【JST・京大機械翻訳】

Understanding and Improving Fast Adversarial Training

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年07月06日プレプリントサーバーでの情報更新日： 2020年10月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

研究の最近のラインは,深い学習モデルに対して計算的に効率的な敵対的訓練の作成に焦点を当てた。特に,Wong et al.(2020)は,高速勾配符号法(FGSM)によるl_∞-広告訓練が,モデルが急速に訓練の1つの期間にわたってそのロバスト性を失うとき,「カタストロフィーオーバーフィッティング」と呼ばれる現象により失敗できることを示した。Wong et al.(2020)で提案されたように,FGSMにランダムステップを加えることは,破局的過剰適合を防止せず,ランダム性は,摂動の大きさを単純に低減するための主要な役割であるとは限らないことを示した。さらに,破滅的過剰適合は深層および過パラメータ化ネットワークに固有でないが,少数のフィルタを持つ単層畳込みネットワークにおいて発生することを示した。極端な事例では,単一フィルタでさえ,ネットワークを局所的に高度に非線形にでき,FGSM訓練が失敗する主な理由である。この観察に基づいて,摂動集合内の勾配アラインメントを明示的に最大化し,FGSM解の品質を改善することにより,壊滅的過剰適合を防ぐ新しい正則化法,GradAlignを提案した。結果として,GradAlignは,より大きなl_∞摂動に対してFGSM訓練を成功裡に適用することを可能にし,多段階敵対訓練に対するギャップを低減する。著者らの実験のコードはhttps://github.com/tml epfl/understanding fast adv trainingで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

人工知能 , 図形・画像処理一般 , パターン認識 , ニューロコンピュータ

, ,

前のページに戻る