TOFU:プロキシデータからの勾配への重み更新符号化による混乱した連合更新に向けて【JST・京大機械翻訳】

Garg Isha; Nagaraj Manish; Roy Kaushik

プレプリント

J-GLOBAL ID：202202208804071487 整理番号：22P0277654

TOFU:プロキシデータからの勾配への重み更新符号化による混乱した連合更新に向けて【JST・京大機械翻訳】

TOFU: Towards Obfuscated Federated Updates by Encoding Weight Updates into Gradients from Proxy Data

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月20日プレプリントサーバーでの情報更新日： 2022年01月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

連合学習における進歩とユーザデータの豊富さは,ユーザデータを共有することなく,複数のクライアント間の豊富な協調学習を可能にした。これは,重み更新の形で学習する中心サーバを介して行われる。しかし,これはクライアントとサーバの間の高価な通信のコストと,ユーザプライバシーの妥協に関する懸念である。それらを発生したデータへの勾配の反転は,データ漏洩と呼ばれる。暗号化技法は,この漏れに対抗するのに使用できるが,追加費用で使用できる。通信効率およびプライバシーのこれらの課題に対処するために,著者らは,その勾配における各クライアントの重み更新を符号化するプロキシデータを生成する新しいアルゴリズムであるTOFUを提案した。重み更新の代わりに,このプロキシデータは現在共有されている。入力データは重みよりも次元複雑性においてはるかに低いので,この符号化は通信ラウンド当たりずっと少ないデータを送信することを可能にする。さらに,プロキシデータはノイズに似ており,データ漏洩攻撃からの完全な再構成でさえ,復号された勾配を認識できないノイズに反転させ,プライバシーを強化する。TOFUは,MNISTとCIFAR-10データセットで,それぞれ1%以下と7%の精度低下で学習を可能にすることを示した。この液滴は,数ラウンドの高価な暗号化勾配交換により回収できる。これは,MNISTとCIFAR-10に関する標準Feded Avergingアルゴリズムよりも,それぞれ,4xと6.6xの通信効率で,連合したセットアップにおけるほぼ完全な精度を学習することを可能にする。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

その他の情報処理 , 計算機網 , データ保護 , 移動通信

, , , ,

前のページに戻る