なぜ局所集約が役立つのかの曖昧性解消:階層型SGDの収束性解析【JST機械翻訳】

抄録/ポイント：

抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。

階層的SGD(H-SGD)は,マルチレベル通信ネットワークのための新しい分散SGDアルゴリズムとして出現した。H-SGDでは,各グローバル集約の前に,作業者は集約のためにローカルサーバに更新したローカルモデルを送る。最近の研究努力にもかかわらず,グローバル収束に及ぼすローカル集約の影響はまだ理論的理解が不足している。本研究では,最初に,「上向き」と「下向き」の発散の新しい概念を導入した。次に,非IIDデータ,非凸目的関数,および確率的勾配を持つ2レベルH-SGDに対する最悪ケース収束上界を獲得するために新しい解析を行うためにそれを用いた。この結果をランダムグループ化の場合に拡張することにより,H-SGDのこの収束上限は,2つの単一レベル局所SGD設定の上限間にあり,局所反復数はH-SGDの局所および大域更新周期とそれぞれ等しいことを観察した。これを「サンドイッチ挙動」と呼ぶ。さらに,「上方」と「下方」の発散に基づく解析的手法を拡張し,「サンドイッチ挙動」が依然として保持されている2レベル以上のH-SGDの一般的事例に対する収束を調べた。筆者らの理論的結果は,なぜ局所集約がH-SGDの収束の改善において有益であり得るかに関する重要な洞察を提供した。【JST機械翻訳】