オンライン連合学習のよりタイトなRegret解析と最適化【JST・京大機械翻訳】

Kwon Dohyeok; Park Jonghwan; Hong Songnam

プレプリント

J-GLOBAL ID：202202218661252138 整理番号：22P0349578

オンライン連合学習のよりタイトなRegret解析と最適化【JST・京大機械翻訳】

Tighter Regret Analysis and Optimization of Online Federated Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年05月13日プレプリントサーバーでの情報更新日： 2023年01月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

連合学習(FL)において,すべてのデータが機械学習(ML)最適化(すなわちオフライン学習)の始めにクライアントに置かれていると一般に仮定されている。しかし,多くの実世界アプリケーションでは,オンライン方式で進行することが期待される。この目的のために,オンラインFL(OFL)を導入し,いわゆる累積レグレットを最小化するような分散ストリーミングデータからの大域的モデルのシーケンスを学習することを目指した。オンライン勾配降下とモデル平均化を結合して,このフレームワークにおいて,FedOGDをFLにおけるFedSGDの対応物として構築した。それは最適サブリニアレレットを楽しめることができるが,FedOGDは重通信コストに悩まされる。本論文では,間欠伝送(クライアントサブサンプリングと周期的伝送により可能)と量子化による通信効率の良い方法(OFedIQと呼ぶ)を提示した。初めて,データ不均一性と通信効率技術の影響を捉えるレグレット結合を導いた。これにより,サンプリング速度,伝送期間,量子化レベルなどのOFedIQのパラメータを効率的に最適化する。また,最適化OFedIQは,通信コストを99%削減しながら,FedOGDの性能を漸近的に達成できることを証明した。実際のデータセットによるVia実験によって,最適化OFedIQの有効性を実証した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る