ハイブリッド並列性による多項ロジスティック回帰のスケーリング【JST・京大機械翻訳】

Raman Parameswaran; Srinivasan Sriram; Matsushima Shin; Zhang Xinhua; Yun Hyokun; Vishwanathan S.V.N.

文献

J-GLOBAL ID：202002247719142707 整理番号：20A1509590

ハイブリッド並列性による多項ロジスティック回帰のスケーリング【JST・京大機械翻訳】

Scaling Multinomial Logistic Regression via Hybrid Parallelism

出版者サイト複写サービスで全文入手
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=20A1509590&from=J-GLOBAL&jstjournalNo=D0698C") }}

著者 (6件)： , , , , ,
資料名：
号： KDD ’19 ページ： 1460-1470 発行年： 2019年
JST資料番号： D0698C 資料種別：会議録 (C)
記事区分：原著論文発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多数のクラスの存在において,非常に多数のデータ点を持つデータセットに多項ロジスティック回帰(MLR)をスケーリングする問題を研究した。データもパラメータも単一マシンに適合できないスケールにおいて,同時データとモデル並列性(Hybrid並列性)が避けられないと主張する。MLRにおけるこのような並列性の達成における重要課題は,データ点当たりのすべてのKクラスにわたって計算する必要がある対数分割関数であり,従ってモデル並列性を非自明にする。この問題を克服するために,ハイブリッド並列性に自然に導く魅力的な特性である二重分離性を利用する元の目的の再定式化を提案した。著者らのアルゴリズム(DS-MLR)は非同期で,完全に分散し,作業者を横断して最小通信を必要とし,データおよびパラメータ作業負荷を分割した。標準データ並列アプローチと異なり,DS-MLRは,各労働者に関する局所正規化項を維持し,トークンリングトポロジーを用いてそれらを漸増的に蓄積することにより,バルク同期を回避する。実世界データセットから成る経験的研究を通して,データおよびモデル並列性における様々なシナリオの下でDS-MLRの汎用性を実証した。特に,ハイブリッド並列化によるスケーリングを実証するため,2007年~2015年の期間にわたる1.7億のレッドディットユーザコメントを前処理することにより,新しいベンチマークデータセット(Reddit-Full)を作成した。DS-MLRを用いて,211百万のデータポイントをそれらの対応するサブディジットに分類する極端なマルチクラス分類問題を解決した。Reddit-Fullは,358GBを占める228GBと440億のパラメータを占めるデータを有する大規模なデータセットである。知る限りでは,他の既存の方法は,この設定でMLRを扱うことができない。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

著者キーワード (3件)： , ,

図形・画像処理一般 , ディジタル計算機方式一般

前のページに戻る