二重温度は多くの負のサンプルなしで対照的学習を助ける:MoCoの理解と単純化に向けて【JST・京大機械翻訳】

Zhang Chaoning; Zhang Kang; Pham Trung X.; Niu Axi; Qiao Zhinan; Yoo Chang D.; Kweon In So

プレプリント

J-GLOBAL ID：202202200964397698 整理番号：22P0323469

二重温度は多くの負のサンプルなしで対照的学習を助ける:MoCoの理解と単純化に向けて【JST・京大機械翻訳】

Dual Temperature Helps Contrastive Learning Without Many Negative Samples: Towards Understanding and Simplifying MoCo

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2022年03月30日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

コントラスト学習(CL)は,例えば,負のサンプルサイズ(NSS)がそのミニバッチサイズ(MBS)によって制限されるので,多くの負のサンプル,例えばMoCoにおける65536を必要とすることが広く知られており,そのために,辞書フリーフレームワークの性能は,しばしば劣っている。MBSからNSSを分離するため,動的辞書を大量のCLフレームワークで採用し,その中で最もポピュラーなものはMoCo族である。本質的に,MoCoは運動量ベース待ち行列辞書を採用し,そのサイズと一貫性の細粒解析を行う。著者らは,MoCoにおいて用いられるInfoNCE損失が,ペナルティのさまざまな強度を有するそれらの対応する陽性サンプルに対してアンカーを暗黙的に誘引し,大きな辞書の必要性のための主要な理由として,そのようなアンカー間硬度認識特性を同定することを指摘した。著者らの知見は,運動量と同様にその辞書の除去を介してMoCo v2を単純化することを動機づける。提案した二重温度によるInfoNCEに基づいて,著者らの単純化フレームワーク,SimMoCoおよびSimCoは,可視マージンによってMoCo v2より優れている。さらに,本研究はCLと非CLフレームワークの間のギャップを橋渡し,SSLにおけるこれら2つの主流フレームワークのより統一的な理解に寄与する。コードはhttps://bit.ly/3LkQbaTで利用可能である。【JST・京大機械翻訳】

, , , , , , , ,
, 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る