文献

J-GLOBAL ID：202202288426828868   整理番号：22A0651178

連合学習におけるデバイス不均一性に起因する局所エポック非効率性【JST・京大機械翻訳】

Local Epochs Inefficiency Caused by Device Heterogeneity in Federated Learning

著者 (9件)： Zeng Yan (School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China) ,  Zeng Yan (Key Laboratory of Complex Systems Modeling and Simulation Ministry of Education, Hangzhou 310018, China) ,  Zeng Yan (Zhejiang Engineering Research Center of Data Security Governance, Hangzhou 310018, China) ,  Wang Xin (HDU-ITMO Joint Institute, Hangzhou Dianzi University, Hangzhou 310018, China) ,  Yuan Junfeng (School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China) ,  Zhang Jilin (School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China) ,  Zhang Jilin (Key Laboratory of Complex Systems Modeling and Simulation Ministry of Education, Hangzhou 310018, China) ,  Zhang Jilin (Zhejiang Engineering Research Center of Data Security Governance, Hangzhou 310018, China) ,  Wan Jian (School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China)
資料名： Wireless Communications & Mobile Computing  (Wireless Communications & Mobile Computing)
巻： 2022  ページ： Null  発行年： 2022年 
JST資料番号： W1338A  ISSN： 1530-8669  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 学習は,機械学習の新しいフレームワークであり,複数のクライアント上で局所的にモデルを訓練し,次に,モデルが収束するまで,反復的にモデル凝集のためのサーバにローカルモデルをアップロードする。ほとんどの場合,すべてのクライアントの局所時代は連合学習において同じ値に設定される。実際に,クライアントは通常不均一であり,クライアントの一貫性のない訓練速度をもたらす。より速いクライアントは,より遅いクライアントを待つために,長時間のアイドリングを残し,モデル訓練時間を長くする。クライアントのローカル訓練の時間コストがクライアントの訓練速度を反映することができるので,それはローカルな時代の動的設定を導くために使用可能であり,著者らは,不均質なクライアントに関するモデルの訓練時間を予測するために,深い学習に基づく方法を提案した。最初に,ニューラルネットワークを設計して,訓練時間に及ぼす種々のモデル特徴の影響を抽出した。第2に,著者らは,モデル特徴の影響に基づく訓練時間に及ぼす大きい影響を持つ重要な特徴を抽出するために次元縮小規則を提案した。最後に,時間予測モデルを訓練するために次元縮小規則によって抽出した主要な特徴を使用した。著者らの実験は,現在の予測方法と比較して,著者らの方法が,モデル特徴の30%と畳込み層のための訓練データの25%,モデル特徴の20%,および高密度層のための訓練データの20%を減少して,一方,予測誤差の同じレベルを維持することを示した。Copyright 2022 Yan Zeng et al. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 予測技法 ,  凝集 ,  畳込み ,  ニューラルネットワーク ,  不均一性 ,  *次元縮小 ,  機械学習 ,  予測誤差 ,  予測モデル
準シソーラス用語： 連合学習 ,  訓練データ ,  アップロード ,  高密度 ,  ローカルモデル , 【Automatic Indexing@JST】

分類 (2件)： 移動通信  (ND08030H) ,  計算機網  (JC03000K)

引用文献 (20件)：

• H. B. McMahan, E. Moore, D. Ramage, S. Hampson, B. A. Y. Arcas, "Communication-efficient learning of deep networks from decentralized data," Artificial intelligence and statistics, pp. 1273-1282, PMLR, 2017.
• A. Hard, K. Rao, R. Mathews, S. Ramaswamy, F. Beaufays, S. Augenstein, H. Eichner, C. Kiddon, D. Ramage, "Federated learning for mobile keyboard prediction," 2018, https://arxiv.org/abs/1811.03604.
• "ai.google. Under the hood of the Pixel 2: How AI is supercharging hardware, 2018," 2018, https://ai.google/stories/ai-in-hardware/.
• "support.google. Your chats stay private while Messages improves suggestions, 2019," 2019, http://support.google.com/messages/answer/9327902.
• Apple, "Private federated learning (NeurIPS 2019 Expo Talk Abstract)," 2019, https://nips.cc/ExpoConferences/2019/schedule?talk_id=40.

タイトルに関連する用語 (5件)： 学習 ,  不均一性 ,  起因 ,  エポック ,  効率性