パラメータまたはプライバシー:過剰パラメータ化とメンバシップ推論の間の証明可能なトレードオフ【JST・京大機械翻訳】

Tan Jasper; Mason Blake; Javadi Hamid; Baraniuk Richard G.

プレプリント

J-GLOBAL ID：202202200459967960 整理番号：22P0283855

パラメータまたはプライバシー:過剰パラメータ化とメンバシップ推論の間の証明可能なトレードオフ【JST・京大機械翻訳】

Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月02日プレプリントサーバーでの情報更新日： 2022年11月30日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現代の機械学習における驚くべき現象は,訓練データ(訓練データに関するゼロ誤差)を記憶するために訓練された場合でも,良く(テストデータ上の小さな誤差)一般化する高度に過パラメータ化されたモデルの能力である。これは,過パラメータ化モデル(c.f.,深層学習)に対して,アームレースに繋がった。本論文では,過剰パラメータ化の未開発隠れコストを研究した:過パラメータ化モデルがプライバシー攻撃に対して脆弱であるという事実,特に,モデル訓練に用いる(潜在的感受性)事例を予測するメンバーシップ推論攻撃。メンバーシップ推論脆弱性がパラメータ数と共に増加するGaussデータ設定における過剰パラメータ化線形回帰モデルを理論的に証明することによって,この問題に関する比較的少数の経験的結果を著しく拡張した。さらに,一連の経験的研究は,より複雑な非線形モデルが同じ挙動を示すことを示した。最後に,この解析をリッジ正則化線形回帰に向けて拡張し,Gaussデータ設定において,正則化の増加も過パラメータ化領域におけるメンバーシップ推論脆弱性を増加させることを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能

, , , , , , ,

前のページに戻る