ランダムに初期化されたネットワークの枝刈りによるロバストなバイナリモデル【JST・京大機械翻訳】

Liu Chen; Zhao Ziqi; Suesstrunk Sabine; Salzmann Mathieu

プレプリント

J-GLOBAL ID：202202217616565579 整理番号：22P0283953

ランダムに初期化されたネットワークの枝刈りによるロバストなバイナリモデル【JST・京大機械翻訳】

Robust Binary Models by Pruning Randomly-initialized Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月02日プレプリントサーバーでの情報更新日： 2022年10月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

敵対攻撃に対するロバスト性は,より大きなモデル容量とより大きなメモリフットプリントを必要とすることを示した。本論文では,ランダムに初期化した二値ネットワークを剪定することによって,ロバストだがコンパクトなモデルを得るためのアプローチを導入した。モデルパラメータを学習する敵対訓練とは異なり,著者らは,+1または-1のいずれかとしてモデルパラメータを初期化し,それらを固定し,攻撃に対してロバストであるサブネットワーク構造を見つける。著者らの方法は,敵対攻撃の存在における強いLotery Ticket仮説を確認し,これをバイナリネットワークに拡張した。さらに,それは,1)異なるネットワーク層を適応的に剪定することによって,既存の研究より競合性能を有するよりコンパクトなネットワークを生成する。2)有効バイナリ初期化方式の利用;3)訓練安定性を改善するために最後のバッチ正規化層を組み込むこと。著者らの実験は,著者らのアプローチが最先端のロバストバイナリネットワークを常に凌駕するだけではなく,また,いくつかのデータセットに関して全精度のものより良い精度を達成できることを証明した。最後に,著者らは,著者らの剪定二値ネットワークの構造化パターンを示した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , 【Automatic Indexing@JST】

データ保護 , 計算機網

, , , ,

前のページに戻る