凸化損失関数による深層学習のための差分プライベートフレームワーク【JST・京大機械翻訳】

Lu Zhigang; Asghar Hassan Jameel; Kaafar Mohamed Ali; Webb Darren; Dickinson Peter

プレプリント

J-GLOBAL ID：202202202154261024 整理番号：22P0324546

凸化損失関数による深層学習のための差分プライベートフレームワーク【JST・京大機械翻訳】

A Differentially Private Framework for Deep Learning with Convexified Loss Functions

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年04月03日プレプリントサーバーでの情報更新日： 2022年04月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

差分プライバシー(DP)は,根底にある訓練集合のプライバシーを保存するための深層学習に適用された。既存のDP実践は,目的摂動,勾配摂動,および出力摂動の3つのカテゴリーに陥る。それらは3つの主な問題を受ける。最初に,目的関数に関する条件は,一般的な深層学習タスクにおける客観的摂動を制限する。第2に,勾配摂動は,各時代の過注入雑音による満足なプライバシー-効用トレードオフを達成しなかった。第3に,出力摂動法の高い有用性は,雑音スケールパラメータとして訓練されたモデルパラメータの大域的感度に関するゆるい上限のために保証されない。これらの問題に取り組むため,モデルパラメータの大域的感度に関するよりタイトな上限を解析した。ブラックボックス設定の下で,全体的ノイズ注入を制御するために,著者らは,凸状損失関数で訓練されたベースライン非プライベートニューラルネットワークの出力層で,ランダムにサンプリングされたニューロン(指数関数的機構を介して)にDPノイズを注入することによって,新しい出力摂動フレームワークを提案した。ベースライン非プライベートモデルに対する精度損失およびブラックボックスメンバーシップ推論(MI)攻撃に対するプライバシー漏洩により測定されたプライバシー-効用トレードオフを,6つの一般的に使用される実世界データセットに対して,著者らのフレームワークとオープンソース微分プライベート確率勾配降下(DP-SGD)手法の間で経験的に比較した。実験評価は,ベースラインモデルがMI攻撃の下で観察可能なプライバシー漏洩を持つとき,著者らのフレームワークは,既存のDP-SGD実装より,より良いプライバシー-効用トレードオフを達成し,多数の質問に対して,全体的プライバシー予算ΔΨ1を与えた。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

データ保護 , 人工知能

, , , ,

前のページに戻る