文献

J-GLOBAL ID：202202220153737036   整理番号：22A0554509

教師なしコアセット選択へのコントラスト学習の拡張【JST・京大機械翻訳】

Extending Contrastive Learning to Unsupervised Coreset Selection

著者 (4件)： Ju Jeongwoo (Division of Future Vehicle, Korea Advanced Institute of Science and Technology, Daejeon, Republic of Korea) ,  Jung Heechul (Department of Artificial Intelligence, Kyungpook National University, Daegu, Republic of Korea) ,  Oh Yoonju (Department of Artificial Intelligence, Kyungpook National University, Daegu, Republic of Korea) ,  Kim Junmo (Division of Future Vehicle, Korea Advanced Institute of Science and Technology, Daejeon, Republic of Korea)
資料名： IEEE Access  (IEEE Access)
巻： 10  ページ： 7704-7715  発行年： 2022年 
JST資料番号： W2422A  ISSN： 2169-3536  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 自己監督されたコントラスト学習は,ラベルなしデータのプールから有益な特徴を学習する手段を提供する。本論文では,別の有用なアプローチを検討した。完全ラベルなしコアセット選択法を提案した。この点に関して,いくつかの自己監督法の一つであるコントラスト学習が最近提案され,一貫して最高の性能をもたらした。これは,コントラスト学習のための2つの主導的方法,即ち,視覚表現(SimCLR)のコントラスト学習のための単純なフレームワークと運動量コントラスト(MoCo)学習フレームワークを選ぶことを促した。コントラスト学習過程の全期間について,各例に対する余弦類似性を計算し,次にコアセットスコアを得るために余弦類似性値を蓄積した。著者らの仮定は,低類似性の試料がコアセットとして振舞う可能性があるということであった。ラベルによる既存のコアセット選択方法と比較して,著者らの方式は,人間アノテーションに関連したコストを減らした。本研究では,コアセット選択のために実装された教師なし方法は,30%のサイズのランダムに選択されたサブセットに対して,1.25%(CIFAR10に対して),0.82%(SVHNに対して),および0.19%(QMNISTに対して)の改善を達成した。さらに,著者らの結果は既存の教師つきコアセット選択法に匹敵する。本提案と上述の教師つきコアセット選択法(忘却事象)の違いは,CIFAR10データセットで0.81%,SVHNデータセットで-2.08%(提案した方法を凌駕する),および30%のサブセットサイズでQMNISTデータセットで0.01%であった。さらに,コアセット選択モデルとターゲットモデルが同一でない場合でもロバスト性を示した(例えば,選択モデルとしてResNet18,ターゲットモデルとしてResNet101)。最後に,コアセット交差試験実験におけるコアセットと非コアセットサンプルの間の性能ギャップを示すことにより,著者らのコアセット用例が高度に有益であることを,より多くの具体的証明を得た。1対のパフォーマンス(試験:非コアセット,訓練:コアセット),(試験:コアセット,訓練:非コアセット),すなわち,SVHNに対するCIFAR10(94.27%,67.39%),およびサブセットサイズ30%のQMNISTに対する(99.89%,93.07%)を観察した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 運動量 ,  *コントラスト ,  表現 ,  *学習 ,  データ ,  選択 ,  交差試験 ,  モデル ,  人間 ,  類似性 ,  部分集合 ,  ロバスト性 ,  アノテーション
準シソーラス用語： 学習過程 ,  選択モデル ,  視覚表現 ,  ラベルなしデータ , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： 教師 ,  コア ,  コントラスト ,  学習 ,  拡張