シメーゼ表現学習のためのより良い対照的視点の明確化【JST・京大機械翻訳】

Peng Xiangyu; Wang Kai; Zhu Zheng; Wang Mang; You Yang

プレプリント

J-GLOBAL ID：202202211513400972 整理番号：22P0285890

シメーゼ表現学習のためのより良い対照的視点の明確化【JST・京大機械翻訳】

Crafting Better Contrastive Views for Siamese Representation Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年02月07日プレプリントサーバーでの情報更新日： 2022年03月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近の自己監督コントラスト学習法は,正対間の距離の最小化を目的とするSiamese構造から大いに恩恵を受ける。高性能Siamese表現学習のために,鍵の1つは,良好なコントラスト対を設計することである。ほとんどの以前の研究は,同じ画像の異なる作物を作るために,ランダムサンプリングを単純に適用し,それは,視覚の品質を劣化させる意味情報を見落としている。本研究では,Siamese表現学習のためのより良い作物を効果的に生成できるコントラストCropを提案する。第1に,意味意識オブジェクト位置確認戦略を,完全に教師なし方法で訓練プロセスの中で提案する。この指針は,ほとんどの偽陽性(すなわち,オブジェクト対バックグラウンド)を避けることができるコントラストビューを生成する。さらに,類似の外観を有する見解は,Siameseモデル訓練に対して自明であると経験的に見出した。したがって,中心抑制サンプリングは,作物の分散を拡大するためにさらに設計されている。意外なことに,著者らの方法は,無視できる余分の訓練オーバヘッドを有するコントラスト学習のための正ペアの慎重な考慮を取り入れた。プラグアンドプレイおよびフレームワーク診断モジュールとして,コントラストCropは,CIFAR-100,Tiny ImageNetおよびSTL-10の0.4%~2.0%分類精度によって,SimCLR,MoCo,BYOL,SimSiamを一貫して改善した。また,ImageNet-1K上で事前訓練するとき,下流検出とセグメンテーションタスクに関して優れた結果を達成した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

, ,

前のページに戻る