プロキシデータフリー連合蒸留における分散知識合同の調査【JST・京大機械翻訳】

Wu Zhiyuan; Sun Sheng; Wang Yuwei; Liu Min; Pan Quyang; Zhang Junbo; Li Zeju; Liu Qingxiang

プレプリント

J-GLOBAL ID：202202218329161277 整理番号：22P0332316

プロキシデータフリー連合蒸留における分散知識合同の調査【JST・京大機械翻訳】

Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年04月14日プレプリントサーバーでの情報更新日： 2023年11月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

学習(FL)はプライバシー保護機械学習パラダイムであり,そこではサーバがそれらのプライベートデータを組み立てずにクライアントから局所モデルパラメータを周期的に集約する。制約された通信と個人化要求は,FLに厳しい挑戦をもたらす。連合蒸留(FD)は,サーバとクライアントの間の知識を交換する上記の2つの問題を同時に対処するために提案され,一方,通信オーバヘッドを著しく低減しながら,不均一局所モデルをサポートする。しかし,ほとんどの既存のFD法は,実際には利用できないプロキシデータセットを必要とする。いくつかの最近のプロキシデータフリーFD手法は,追加公開データの必要性を除くことができるが,クライアント側モデル不均一性による局所知識間の顕著な不一致に悩まされ,サーバと不可避な精度劣化に関するあいまいな表現をもたらす。この問題に取り組むために,分散知識一致(FedDKC)に基づくプロキシデータフリーFDアルゴリズムを提案した。FedDKCは,知識不一致のマイナス効果を緩和するように,許容できる上限に局所知識差を狭めるために,よく設計された精密化戦略を利用する。具体的には,局所知識のピーク確率とShannonエントロピーの展望から,カーネルベース知識精密化(KKR)と探索ベース知識精密化(SKR)をそれぞれ設計して,精密化局所知識が近似的に類似分布を満足し,一致とみなすことができることを理論的に保証した。3つの共通データセットに関して行った広範な実験は,提案したFedDKCが,明らかに収束速度を改善する一方で,様々な不均一設定に関して最先端技術よりも性能的に優れていることを示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能 , 計算機網

, , ,

前のページに戻る