抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
著者らは,広範囲の損失関数(InfoNCEを含む)の下でのコントラスト学習(CL)が,ネットワークパラメータθとペアワイズ重要度αに関する座標ワイズ最適化の統一定式化を持ち,そこでは,最大プレーヤーθがコントラスト性のための表現を学習し,そして,最小プレーヤーαは,類似の表現を共有する異なるサンプルのペアに関してより多くの重みを課すことを示した。α-CLと呼ばれる得られた定式化は,サンプル対重要度αがいかに構築されるかによって異なる既存のコントラスト損失だけでなく,一般的なものを超える新しいコントラスト損失を与えるように外挿でき,コントラスト損失設計の新しい道を開いた。これらの新しい損失は,古典的なInfoNCEよりもCIFAR10,STL-10およびCIFAR-100に対して同等の(またはより良い)性能をもたらした。さらに,最大プレーヤーを詳細に解析し,固定αで,最大プレーヤーは,深い線形ネットワークに対する主成分分析(PCA)と等価であり,ほとんど全ての局所最小値は,大域的でランク-1であり,最適PCA解を復元することを証明した。最後に,最大プレーヤーを2層ReLUネットワークに拡張し,その固定点が高いランクを持つことを示した。【JST・京大機械翻訳】