大域的コントラスト学習のための証明可能な確率的最適化:小バッチは,性能をもたない【JST・京大機械翻訳】

Yuan Zhuoning; Wu Yuexin; Qiu Zi-Hao; Du Xianzhi; Zhang Lijun; Zhou Denny; Yang Tianbao

プレプリント

J-GLOBAL ID：202202219260186589 整理番号：22P0294999

大域的コントラスト学習のための証明可能な確率的最適化:小バッチは,性能をもたない【JST・京大機械翻訳】

Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年02月24日プレプリントサーバーでの情報更新日： 2022年09月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,大きなバッチサイズまたは特徴ベクトルの大きな辞書に依存する既存のコントラスト学習法の基本的な課題を分析し,対処することを目的として,最適化視点からの対照的学習を研究した。アンカー点に対するすべての負対と各正対を対比する,コントラスト学習に対する大域的目的を考察した。最適化の観点から,SimCLRのような既存の方法が,満足のいく結果を達成するために大きなバッチサイズを必要とする理由を説明した。そのような要求を除去するために,SogCLRと呼ばれる表現のコントラスト学習の大域的目的を解決するためのメモリ効率の良い確率的最適化アルゴリズムを提案した。その最適化誤差が十分な数の反復後に合理的な条件下で無視できるか,あるいはわずかに異なる大域的コントラスト目的に対して減少することを示す。経験的に,小さいバッチサイズ(例えば,256)を有するSogCLRは,画像Net-1Kに関する自己監督学習タスクにおいて,大きなバッチサイズ(例えば8192)を有するSimCLRと同様の性能を達成できることを実証した。また,提案した最適化技法が一般的であり,他のコントラスト損失,例えば二モードコントラスト学習のための二方向コントラスト損失を解くのに適用できることを示した。提案方法を,著者らのオープンソースライブラリLibAUC(www.libauc.org)に実装した。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , その他のオペレーションズリサーチの手法

, , , ,

前のページに戻る