LAMP:言語モデルプライアによる勾配からのテキストの抽出【JST・京大機械翻訳】

Balunovic Mislav; Dimitrov Dimitar I.; Jovanovic Nikola; Vechev Martin

プレプリント

J-GLOBAL ID：202202204561245249 整理番号：22P0291439

LAMP:言語モデルプライアによる勾配からのテキストの抽出【JST・京大機械翻訳】

LAMP: Extracting Text from Gradients with Language Model Priors

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月17日プレプリントサーバーでの情報更新日： 2022年10月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近の研究では,敏感なユーザデータが勾配更新から再構成され,連合学習の鍵プライバシーを約束することを示している。成功は画像データで主に実証されたが,これらの方法はテキストのような他のドメインに直接移動しない。本研究では,テキストデータに合わせた新しい攻撃であるLAMPを提案し,元のテキストを勾配から再構成することに成功した。著者らの攻撃は2つの重要な洞察に基づいている。(i)補助言語モデルによる事前テキスト確率のモデリング,より自然なテキストに向けての検索のガイド,および(ii)埋込みにおける再構成損失を最小化する,そして(ii)離散テキスト変換の適用による局所極小を避けること。著者らの実験は,LAMPが事前の仕事よりも著しく効果的であることを示す:それは平均で5xのバイグラムと23%の長いサブシーケンスを再構成する。さらに,テキストモデルに対して1より大きいバッチサイズから入力を復元する。これらの知見から,テキストデータで動作するモデルの勾配更新は,以前に考えられていたよりも多くの情報を漏洩することが示された。【JST・京大機械翻訳】

, , , , , ,
, , , , , 【Automatic Indexing@JST】

自然語処理 , パターン認識

, , ,

前のページに戻る