蒸留ワンショット連合学習【JST・京大機械翻訳】

Zhou Yanlin; Pu George; Ma Xiyao; Li Xiaolin; Wu Dapeng

プレプリント

J-GLOBAL ID：202202216416541458 整理番号：21P0049273

蒸留ワンショット連合学習【JST・京大機械翻訳】

Distilled One-Shot Federated Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年09月16日プレプリントサーバーでの情報更新日： 2021年06月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現行の連合学習アルゴリズムは,理想的環境下では,不等なモデル重みを伝送する通信ラウンドを数十回,また,データがほとんど分布しない場合,何百ものかを伝達する。データセット蒸留と分散型ワンショット学習に関する最近の研究に触発されて,著者らは,同等の性能を達成しながら,通信コストを著しく減らすために,蒸留された1ショットフェドレーション学習(DOSFL)を提案する。ただ一つのラウンドにおいて,各クライアントは,それらのプライベートデータセットを蒸留し,合成データ(例えば,画像または文章)をサーバに送信し,大域的モデルを集合的に訓練する。蒸留データは雑音のように見え,特定のモデル重み,すなわち,モデル更新後に無使用になる。この無重力および無勾配設計により,DOSFLの全通信コストは,FedAvgよりも3桁低く,一方,集中化対応物の93%~99%の性能を維持した。その後,クライアントは,FedAvgのような伝統的方法に切り替えて,局所データセットで個人化された局所モデルに適合するために,最後の数パーセントを微調整することができた。包括的実験を通して,著者らは,CNN,LSTM,変換器などを含む異なるモデルで,視覚と言語タスクの両方に関するDOSFLの精度と通信性能を示した。盗聴攻撃者は,初期モデル重みを知ることなく,漏れた蒸留データを用いて良好なモデルを適切に訓練できないことを示した。DOSFLは,従来法の0.1%未満の通信コストで,実行前訓練モデルに迅速に収束する安価な方法である。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能 , パターン認識 , 図形・画像処理一般

, ,

前のページに戻る