代理ギャップ最小化はシャープネス意識トレーニングを改善する【JST・京大機械翻訳】

Zhuang Juntang; Gong Boqing; Yuan Liangzhe; Cui Yin; Adam Hartwig; Dvornek Nicha; Tatikonda Sekhar; Duncan James; Liu Ting

プレプリント

J-GLOBAL ID：202202211076071638 整理番号：22P0304715

代理ギャップ最小化はシャープネス意識トレーニングを改善する【JST・京大機械翻訳】

Surrogate Gap Minimization Improves Sharpness-Aware Training

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (9件)： , , , , , , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近提案されたSharpness-Aware最小化(SAM)は,パラメータ空間の近傍における最大損失として定義される摂動損失を最小化することにより一般化を改善する。しかし,鋭いおよび平坦な極小は,低い摂動損失を持ち,SAMが必ずしも平坦な極小を優先しないことを示した。その代りに,著者らは,近隣の半径(摂動損失を導く)が小さいときに,局所最小におけるHessianの支配的固有値に等しい測度である,オーロゲートギャップを定義した。代理ギャップは,訓練中の直接最小化に対して計算および実行可能であった。上記の観察に基づき,SurrogateGap GuidedSharpess-AwareMinimization(GSAM)を提案したが,これは,無視できる計算オーバヘッドを有するSAM上の新しい改善である。概念的に,GSAMは2段階から成る。1)摂動損失を最小化するためのSAMのような勾配降下,2)直交方向(勾配分解後)における上昇ステップは,代理ギャップを最小化し,摂動損失に影響しなかった。GSAMは,小さな損失(ステップ1)と低い鋭さ(ステップ2)の両方を有する領域を探索し,高い一般化能力をもつモデルを生じさせる。理論的には,SAMよりもGSAMの収束とおそらく良好な一般化を示した。経験的に,GSAMは,一貫して一般化を改善した(例えば,ViT-B/32に対する画像Net top-1精度に関して,+3.2%オーバーSAMおよび+5.4%over AdamW)。コードは,url{https://sites.google.com/view/gsam iclr22/home}で放出される。【JST・京大機械翻訳】

, , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , 配電(事業者側)

, , , ,

前のページに戻る