精度とロバスト性の間の調整可能なトレードオフのための高速で効率的な条件付き学習【JST・京大機械翻訳】

Kundu Souvik; Sundaresan Sairam; Pedram Massoud; Beerel Peter A.

プレプリント

J-GLOBAL ID：202202210863755459 整理番号：22P0323923

精度とロバスト性の間の調整可能なトレードオフのための高速で効率的な条件付き学習【JST・京大機械翻訳】

A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月28日プレプリントサーバーでの情報更新日： 2022年03月28日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

クリーンで敵対的に摂動された画像の両方に関する最先端の(SOTA)性能を達成する既存のモデルは,特徴ワイズ線形変調(FiLM)層によって調整された畳込み操作に依存する。これらの層は多くの新しいパラメータを必要とし,超パラメータ感受性である。それらは,訓練時間,記憶コスト,および潜在的待ち時間を著しく増加させ,資源制限またはリアルタイムアプリケーションに対してコストを高くできる。本論文では,既存のFiLMベースの条件付けの代わりに,高速学習可能な1回ごとの敵対訓練(FLOAT)アルゴリズムを提示し,追加の層を必要としないユニークな重み条件づけ学習を提示し,それにより,標準敵対訓練と比較して,パラメータ数,訓練時間,またはネットワーク待ち時間における有意な増加を起こさない。特に,クリーンと敵対的性能の間のトレードオフを可能にする重みテンソルに構成可能なスケールノイズを加えた。広範な実験は,FLOATが,それぞれ,約6%と~10%まで,クリーンで摂動した画像分類の両方を改善するSOTA性能をもたらすことを示した。さらに,実際のハードウェア測定は,FLOATが,FiLMベース代替案と比較して,等高パラメータ設定で1.47xまでのより少ないモデルパラメータで,訓練時間を1.43xまで低減できることを示した。さらに,メモリ効率をさらに改善するために,非反復モデル剪定の形式であるFLOATスパース(FLOAT)を導入し,詳細な経験的解析を提供し,これらの新しいクラスの剪定条件付訓練モデルの3つの精度-ロバスト性-複雑性トレードオフを提供した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る