隠れ状態(Or Much Faster Conversion)を要求する差分プライベート学習【JST・京大機械翻訳】

Ye Jiayuan; Shokri Reza

プレプリント

J-GLOBAL ID：202202201199279475 整理番号：22P0302013

隠れ状態(Or Much Faster Conversion)を要求する差分プライベート学習【JST・京大機械翻訳】

Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年10月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ランダム化SGDアルゴリズムの微分プライバシー解析に関する事前作業は,陰的(非現実的)仮定が反復アルゴリズムの内部状態が敵対するという,組成定理に依存する。その結果,そのような組成ベース解析で得られたR’enyi DP限界は訓練時期の数とともに線形的に成長する。アルゴリズムの内部状態が隠されたとき,著者らは,ノイズのある確率的勾配降下(強い凸の滑らかな損失関数)のために収束するプライバシー境界を証明した。サブサンプリングとランダム化後処理によるプライバシー増幅の利点をいかに利用するかを示し,”シャッフルと分割”と”置換のないサンプル”確率的ミニバッチ勾配降下スキームに対するプライバシー境界の動力学を証明した。著者らは,これらの設定において,著者らのプライバシー境界が指数的に速く収束し,いくつかの訓練期間の後,特に,組成限界よりも大幅に小さいことを証明した。このように,DPアルゴリズムが速く収束しないならば,著者らのプライバシー解析は,隠れ状態解析が差動プライバシーを著しく増幅することができることを示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

データ保護 , 人工知能 , 信号理論 , システム・制御理論一般

前のページに戻る