文献

J-GLOBAL ID：201902224470234375   整理番号：19A2403042

LDGM符号を用いた分散確率勾配降下【JST・京大機械翻訳】

Distributed Stochastic Gradient Descent Using LDGM Codes

著者 (4件)： Horii Shunsuke (Waseda University, Tokyo, Japan) ,  Yoshida Takahiro (Yokohama College of Commerce, Kanagawa, Japan) ,  Kobayashi Manabu (Waseda University, Tokyo, Japan) ,  Matsushima Toshiyasu (Waseda University, Tokyo, Japan)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： ISIT  ページ： 1417-1421  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： マスタノードと複数のワーカノードからなるシステム上で計算を行う分散学習問題を考察した。そのようなシステムにおいて,ストラグーラと呼ばれる遅いランニングマシンの存在は,性能の著しい減少を引き起こす。最近では,分散学習におけるストラグラーを軽減するために,勾配符号化(GC)と呼ばれる符号化理論的フレームワークが,Tandonらによって確立された。GCに関する多くの研究は,勾配情報を完全に回復することを目的としているが,これは,勾配のある遅延(GD)アルゴリズムが学習アルゴリズムとして使用されていると仮定している。一方,確率勾配遅延(SGD)アルゴリズムを用いると,勾配情報を完全に復元する必要はなく,その非バイアス推定量は学習に十分である。本論文では,低密度生成行列(LDGM)符号を用いた分散SGD方式を提案した。提案したシステムでは,勾配情報を完全に復元するために,既存のGC法よりも長い時間を要するが,低い計算コストで勾配の高品質の不偏推定器を得ることができ,全体的な性能改善をもたらす。Copyright 2019 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 労働者 ,  *アルゴリズム ,  バイアス ,  推定量 ,  符号理論 ,  不偏推定 ,  学習アルゴリズム
準シソーラス用語： 高品質 ,  計算コスト ,  低密度 ,  ランニング ,  分散学習 ,  *確率勾配 ,  *LDGM符号 , 【Automatic Indexing@JST】

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： LDGM符号 ,  確率勾配 ,  降下