座標最適化による深いコントラスト学習の理解【JST・京大機械翻訳】

Tian Yuandong

プレプリント

J-GLOBAL ID：202202218314802322 整理番号：22P0281840

座標最適化による深いコントラスト学習の理解【JST・京大機械翻訳】

Understanding Deep Contrastive Learning via Coordinate-wise Optimization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (1件)：
資料名：
発行年： 2022年01月29日プレプリントサーバーでの情報更新日： 2022年11月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

著者らは,広範囲の損失関数(InfoNCEを含む)の下でのコントラスト学習(CL)が,ネットワークパラメータθとペアワイズ重要度αに関する座標ワイズ最適化の統一定式化を持ち,そこでは,最大プレーヤーθがコントラスト性のための表現を学習し,そして,最小プレーヤーαは,類似の表現を共有する異なるサンプルのペアに関してより多くの重みを課すことを示した。α-CLと呼ばれる得られた定式化は,サンプル対重要度αがいかに構築されるかによって異なる既存のコントラスト損失だけでなく,一般的なものを超える新しいコントラスト損失を与えるように外挿でき,コントラスト損失設計の新しい道を開いた。これらの新しい損失は,古典的なInfoNCEよりもCIFAR10,STL-10およびCIFAR-100に対して同等の(またはより良い)性能をもたらした。さらに,最大プレーヤーを詳細に解析し,固定αで,最大プレーヤーは,深い線形ネットワークに対する主成分分析(PCA)と等価であり,ほとんど全ての局所最小値は,大域的でランク-1であり,最適PCA解を復元することを証明した。最後に,最大プレーヤーを2層ReLUネットワークに拡張し,その固定点が高いランクを持つことを示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , 【Automatic Indexing@JST】

システム・制御理論一般 , 偏光測定と偏光計 , その他の液晶 , 分子の電子構造 , 分子スペクトル一般

, , , ,

前のページに戻る