文献

J-GLOBAL ID：202002259337382347   整理番号：20A0911847

分散学習における柔軟なストラグgler緩和のための確率的勾配符号化【JST・京大機械翻訳】

Stochastic Gradient Coding for Flexible Straggler Mitigation in Distributed Learning

著者 (3件)： Bitar Rawad (Rutgers University,ECE department) ,  Wootters Mary (Stanford University,CS and EE departments) ,  Rouayheb Salim El (Rutgers University,ECE department)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： ITW  ページ： 1-5  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 著者らは,ストラグラーの存在における分布勾配降下を考察した。勾配符号化と近似勾配符号化に関する最近の研究は,いくつかの作業者が遅いか非応答性であっても,収束を保証するために分散勾配降下に冗長性を付加する方法を示した。本研究では,確率勾配符号化(SGC)と呼ぶ新しいタイプの近似勾配符号化を提案した。SGCのアイデアは非常に単純である:著者らは,良好な組合せ設計に従って作業者に冗長にデータ点を配布する。著者らは,SGCミラーの収束速度が,l_2損失関数のためのバッチ確率的勾配(SGD)の収束速度であることを証明して,収束速度がどのように冗長性によって改良することができるかを示した。著者らは,SGCが多数のストラグラーを扱うために少量の冗長性を必要とすることを経験的に示し,それはストラグーラの数が大きい場合に既存の近似勾配符号よりも性能が優れていることを示した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 応答特性 ,  冗長性 ,  損失関数 ,  近似法 ,  *緩和現象
準シソーラス用語： 収束速度 ,  *分散学習 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： 分散学習 ,  緩和 ,  確率 ,  勾配 ,  符号化