文献

J-GLOBAL ID：202102253559868693   整理番号：21A3413935

滑らかでない損失を有する差動的個人SGD【JST・京大機械翻訳】

Differentially private SGD with non-smooth losses

著者 (4件)： Wang Puyu (School of Mathematics, Northwest University, Xi’an, 710127, China) ,  Lei Yunwen (School of Computer Science, University of Birmingham, Birmingham B15 2TT, UK) ,  Ying Yiming (Department of Mathematics and Statistics, State University of New York at Albany, Albany, NY, 12222, USA) ,  Zhang Hai (School of Mathematics, Northwest University, Xi’an, 710127, China)
資料名： Applied and Computational Harmonic Analysis  (Applied and Computational Harmonic Analysis)
巻： 56  ページ： 306-336  発行年： 2022年 
JST資料番号： W0657A  ISSN： 1063-5203  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 本論文では,確率的凸最適化(SCO)の設定における微分プライベート確率勾配降下(SGD)アルゴリズムに関する。既存の研究の大部分は,Lipschitzの連続的で,強く滑らかであり,モデルパラメータは一様に有界である。しかし,これらの仮定は,SVMに対するヒンジ損失,ロバスト回帰における絶対損失,および非有界領域における最小自乗損失を含むこれらの条件に違反する多くの一般的損失として制約がある。これらの制限的仮定を著しく緩和し,非平滑凸損失に関連した出力と勾配摂動を用いてプライベートSGDアルゴリズムに対するプライバシーと一般化(ユーティリティ)保証を確立した。特に,損失関数は,Lipschitz連続性(α=0)と強い平滑度(α=1)を瞬時にするα-Holder連続勾配(α-Holder平滑度と呼ばれる)を持つように緩和される。勾配摂動を用いたα-Holder平滑損失を有する雑音SGDは,(ε,δ)微分プライバシー(DP)を保証し,勾配複雑度O(n2-α1+α+n)で対数項まで,最適過剰母集団リスクO(dlog(1/δ)nε+1n)を達成することを証明した。これは,損失のα-Holder平滑性と,統計的最適性能を有する個人SGDの計算複雑性の間の重要なトレードオフを示した。特に,本結果は,α≧1/2のα-Holder平滑度が,線形勾配複雑度O(n)で最適過剰リスクを達成しながら,雑音のあるSGDアルゴリズムの(ε,δ)-DPを保証するのに十分であることを示した。Copyright 2021 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *アルゴリズム ,  最小二乗法 ,  雑音 ,  損失関数 ,  ヒンジ ,  微分 ,  プライバシー ,  計算量 ,  対数 ,  母集団 ,  凸形 ,  摂動 ,  平滑度
準シソーラス用語： モデルパラメータ ,  凸最適化 , 【Automatic Indexing@JST】

著者キーワード (4件)： 確率的勾配降下 ,  アルゴリズム安定性 ,  微分プライバシー ,  汎化

分類 (2件)： 人工知能  (JE08000Z) ,  システム設計・解析  (IA02030D)

タイトルに関連する用語 (3件)： 損失 ,  差動 ,  個人