自然言語理解モデルにおけるカナリア抽出【JST・京大機械翻訳】

Parikh Rahil; Dupuy Christophe; Gupta Rahul

プレプリント

J-GLOBAL ID：202202205955235687 整理番号：22P0310570

自然言語理解モデルにおけるカナリア抽出【JST・京大機械翻訳】

Canary Extraction in Natural Language Understanding Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月25日プレプリントサーバーでの情報更新日： 2022年03月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語理解(NLU)モデルは,電話数,zip-符号などの高感度情報で訓練できる。最近の文献は,モデルパラメータから訓練データを抽出できるモデル反転攻撃(ModIvA)に焦点を合わせている。本研究では,NLU訓練データに挿入されたカナリーを抽出することにより,そのような攻撃のバージョンを提示した。攻撃において,モデルへのオープンボックスアクセスによる敵対は,モデルの訓練セットに含まれるカナリーを再構成する。著者らは,カナリーに関するテキスト完了を実行することによって,著者らの方式を評価して,カナリーのプレフィックス(非感受性)トークンを使用することによって,著者らは完全なカナリーを作り出すことができることを示した。用例として,著者らの攻撃は,その最良構成において0.5の確率でNLUモデルの訓練データセットにおいて4つの数字コードを再構成することができた。対策として,著者らは,組合せたとき,著者らの実験でModIvAのリスクを効果的に除去するいくつかの防御機構を同定した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, ,

前のページに戻る