適応最適化による連合連続学習におけるクライアントドリフトの対処【JST・京大機械翻訳】

Venkatesha Yeshwanth; Kim Youngeun; Park Hyoungseob; Li Yuhang; Panda Priyadarshini

プレプリント

J-GLOBAL ID：202202202094211995 整理番号：22P0309971

適応最適化による連合連続学習におけるクライアントドリフトの対処【JST・京大機械翻訳】

Addressing Client Drift in Federated Continual Learning with Adaptive Optimization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月24日プレプリントサーバーでの情報更新日： 2022年03月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

反復学習は広く研究され,エッジデバイスにおけるプライバシー保護分散学習のための一般的な方法である。対応して,継続的な学習は,複数のタスクを順次学習するための新たな分野である。しかし,連続学習システムにおいて,連合した凝集が行われるとき出現する付加的な課題にはほとんど注意が払われていない。著者らは,特に各クライアントが独立に異なるタスク順序を持つので,バニラ連合平均化がそのようなシステムに適用されるときに生じる重要な弱点の1つを,識別する。候補連続学習アプローチとしてNetTailorを用いてFeded Continuoal Learning(FCL)を行うためのフレームワークを概説し,クライアントドリフトの問題の程度を示した。適応連合最適化はクライアントドリフトの悪影響を低減でき,CIFAR100,MiniImagenet,Decathlonベンチマークに対するその有効性を示した。さらに,クライアントやサーバ学習速度,局所訓練反復数,通信ラウンドのような異なるハイパーパラメータ間の相互作用を強調する経験的解析を提供した。最後に,著者らは,スケーラビリティ,クライアントのデータ分布における歪みに対するロバスト性,およびストラグラーのような連合学習システムの有用な特性に関して,著者らのフレームワークを評価した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る