抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
ロックフリー非同期性の単純さにより,Hogwilld Hubbardは,共有メモリ設定でSGDを並列化するためのゴーツーアプローチである。並列プロセスが分割された勾配を持つ共有モデルを更新するPASSM+のような,その人気と付随する拡張にもかかわらず,分散労働者にスケーリングするスケーリングは,驚くほど調査されていない。知る限りでは,そのような方法の収束理論や速度アップを評価する系統的な数値比較はない。本論文では,分散メモリコンピューティングアーキテクチャを,各ノード実行マルチ処理並列共有メモリSGD自身で組み込むアルゴリズムを提案した。このスキームは,次のアルゴリズムツールと特徴に基づいている:(a)作業者の共有メモリ上の非同期局所勾配更新,(b)部分逆伝搬,および(c)局所モデルの非ブロッキング位置平均化。本手法は,非凸目的に対するエルゴード収束速度を保証することを証明した。実用側では,提案手法は,CIFAR-100,およびImagenetデータセットにおける標準画像分類ベンチマークに対して,改善されたスループットと競合精度を示した。このコードはhttps://github.com/bapi/LPP SGDで利用可能である。【JST・京大機械翻訳】