Stolenエンコーダ:自己教師つき学習における予歪エンコーダの盗聴【JST・京大機械翻訳】

Liu Yupei; Jia Jinyuan; Liu Hongbin; Gong Neil Zhenqiang

プレプリント

J-GLOBAL ID：202202206576477904 整理番号：22P0275049

Stolenエンコーダ:自己教師つき学習における予歪エンコーダの盗聴【JST・京大機械翻訳】

StolenEncoder: Stealing Pre-trained Encoders in Self-supervised Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月15日プレプリントサーバーでの情報更新日： 2022年07月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練符号器は,多くの下流タスクに使用できる汎用特徴抽出器である。自己監督学習における最近の進展は,大量のラベルなしデータを使用して,高度に有効な符号器を予行することができ,サービス(EaaS)として新しい符号器を導く。事前訓練エンコーダは,その訓練が多くのデータおよび計算資源を必要とするので,また,その公開放出がAIの誤用,例えば,深いファケーク生成を促進するかもしれないので,秘密と考えられる。本論文では,StolenEncoderと呼ばれる最初の攻撃を,事前訓練された画像符号器に対して提案した。Googleにより事前訓練された画像Net符号器,OpenAIにより事前訓練されたCLIP符号器,および,EaaSとして展開されたClarifaiの一般埋込み符号器を含む3つの実世界ターゲット符号器により,複数のターゲット符号器上でStolenEncoderを評価した。著者らの結果は,著者らのストロン符号器が,ターゲット符号器と類似の機能性を有することを示した。特に,ターゲット符号器とストロンの上に構築された下流分類器は,類似の精度を持つ。さらに,StolenEncoderを用いてターゲット符号器を封じることは,スクラッチから事前訓練するよりも,はるかに少ないデータおよび計算資源を必要とする。また,ターゲット符号器により生成される特徴ベクトルを摂動する3つの防御を探索した。これらの結果は,これらの防御がStolenEncoderの緩和に十分ではないことを示した。【JST・京大機械翻訳】

, , , , ,
, , , , , , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般 , 人工知能

, , , ,

前のページに戻る