対照的学習がラベル雑音に対してロバスト性を強める理由の調査【JST・京大機械翻訳】

Xue Yihao; Whitecross Kyle; Mirzasoleiman Baharan

プレプリント

J-GLOBAL ID：202202201382040856 整理番号：22P0281658

対照的学習がラベル雑音に対してロバスト性を強める理由の調査【JST・京大機械翻訳】

Investigating Why Contrastive Learning Benefits Robustness Against Label Noise

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月29日プレプリントサーバーでの情報更新日： 2022年07月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近,自己監督されたコントラスト学習(CL)は,過剰適合雑音ラベルから深いネットワークを防ぐのに非常に効果的であることが示されている。その経験的成功にもかかわらず,ブースティングロバスト性に対するコントラスト学習の影響の理論的理解は非常に限られている。本研究では,コントラスト学習により学習された表現行列は,ロバスト性を,持って,ロバスト性を強化させることを厳密に証明する。(i)データにおける各サブクラスに対応する1つの顕著な特異値,および著しく小さい残留特異値;(ii)顕著な特異ベクトルと各サブクラスのクリーンラベル間の大きなアラインメント。上述の特性は,雑音を過剰適合せずに,効果的にクリーンラベルを学習するために,そのような表現で訓練された線形層を可能にし,さらに,コントラスト学習で事前訓練された深層ネットワークのJacobiの低ランク構造が,雑音のあるラベル上で微調整するとき,まず優れた性能を達成できることを示した。最後に,コントラスト学習により提供される初期ロバスト性は,極端な雑音レベル,例えば,平均27.18%と15.58%の,CIFAR-10とCIFAR-100の精度を,80%の非対称雑音ラベルで,また,4.11%の精度で,WebVisionで精度を増加できる,ロバストな訓練法を可能にすることを実証した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, , , , ,

前のページに戻る