プレプリント
J-GLOBAL ID:202202203148619762   整理番号:22P0303288

野生のスケーリング:Hogwild!スタイル共有メモリSGDの分散【JST・京大機械翻訳】

Scaling the Wild: Decentralizing Hogwild!-style Shared-memory SGD
著者 (3件):
資料名:
発行年: 2022年03月13日  プレプリントサーバーでの情報更新日: 2022年03月13日
JST資料番号: O7000B  資料種別: プレプリント
記事区分: プレプリント  発行国: アメリカ合衆国 (USA)  言語: 英語 (EN)
抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
ロックフリー非同期性の単純さにより,Hogwilld Hubbardは,共有メモリ設定でSGDを並列化するためのゴーツーアプローチである。並列プロセスが分割された勾配を持つ共有モデルを更新するPASSM+のような,その人気と付随する拡張にもかかわらず,分散労働者にスケーリングするスケーリングは,驚くほど調査されていない。知る限りでは,そのような方法の収束理論や速度アップを評価する系統的な数値比較はない。本論文では,分散メモリコンピューティングアーキテクチャを,各ノード実行マルチ処理並列共有メモリSGD自身で組み込むアルゴリズムを提案した。このスキームは,次のアルゴリズムツールと特徴に基づいている:(a)作業者の共有メモリ上の非同期局所勾配更新,(b)部分逆伝搬,および(c)局所モデルの非ブロッキング位置平均化。本手法は,非凸目的に対するエルゴード収束速度を保証することを証明した。実用側では,提案手法は,CIFAR-100,およびImagenetデータセットにおける標準画像分類ベンチマークに対して,改善されたスループットと競合精度を示した。このコードはhttps://github.com/bapi/LPP SGDで利用可能である。【JST・京大機械翻訳】
シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。

準シソーラス用語:
シソーラス用語/準シソーラス用語
文献のテーマを表すキーワードです。
部分表示の続きはJDreamⅢ(有料)でご覧いただけます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
, 【Automatic Indexing@JST】
分類 (1件):
分類
JSTが定めた文献の分類名称とコードです
ディジタル計算機方式一般 
タイトルに関連する用語 (3件):
タイトルに関連する用語
J-GLOBALで独自に切り出した文献タイトルの用語をもとにしたキーワードです

前のページに戻る