個人連合学習による自由化に対するトークンザの訓練【JST・京大機械翻訳】

Bagdasaryan Eugene; Song Congzheng; van Dalen Rogier; Seigel Matt; Cahill Aine

プレプリント

J-GLOBAL ID：202202201434031567 整理番号：22P0306593

個人連合学習による自由化に対するトークンザの訓練【JST・京大機械翻訳】

Training a Tokenizer for Free with Private Federated Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

微分プライバシー,すなわち個人連合学習(PFL)による連合学習は,プライバシーを害することなく,ユーザのデバイスを横断した個人データに関するモデルを訓練することを可能にする。PFLは,ニューラルネットワークのようなモデルに対して効率的であり,それは一定数のパラメータを持ち,従って固定次元勾配ベクトルを持つ。そのようなモデルは,ニューラルネット言語モデルを含むが,トークナイザではなく,本研究のトピックである。訓練の訓練は,無制限語彙からの単語の頻度を必要とし,無制限語彙を見つけるための既存の方法は,別のプライバシー予算を必要とする。ワークアラウンドは,公的に利用可能なデータでトークライザを訓練することである。しかしながら,本論文では,まず,不整合データで訓練されたトークナイザが,ユーザデータにアクセスするプライバシー違反「オラクル」トークナイザと比較して,より悪いモデル性能をもたらし,パープレックスが20%増加することを示す。また,単語当たりより多くのトークンで,新しい単語を符号化できるので,サブワードトークナイザは単語レベルよりも連合コンテキストに適していることを示した。第2に,追加のプライバシー予算を使用せずにトークナイザを得る新しい方法を提案した。言語モデルの私的連合学習の間,著者らはモデルからサンプルして,サンプリングされたシーケンスに関して新しいトークナイザを訓練して,モデル埋込みを更新した。そして,私達は,私的連合学習を継続し,「オラクル」トークナイザの1%以内で性能を得る。この過程は,個人データ上で間接的にトークナイザを訓練するので,著者らは,差動プライバシーの「後処理保証」を使用でき,従って,追加のプライバシー予算を使用できない。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

データ保護

, ,

前のページに戻る