文献

J-GLOBAL ID：201802268297357437   整理番号：18A0196467

スパーク上の巨大データセットから最良のBox-Cox変換の発見【Powered by NICT】

Finding the best box-cox transformation from massive datasets on spark

著者 (3件)： Fang Huayi (Amazon.com Inc, 410 Terry Avenue, North Seattle, WA 98109) ,  Yang Baijian (Dept. of Computer and Information Technology, Purdue University, West Lafayette, IN 47907) ,  Zhang Tonglin (Department of Statistics, Purdue University, West Lafayette, IN 47907)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： Big Data  ページ： 2951-2960  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： データに適合する最良の線形回帰モデルまたは多項式回帰モデルを見つけるために,従来の方法は全データセットを繰返し,多くの不必要な遅いI/O動作をしなければならない。Apache火花は十分巧妙に練られたインメモリ計算アーキテクチャによる分散クラスタとより効率的に回帰モデルを訓練することができる。しかし,データセット自身または計算中に一時的なデータはスパークシステムの全物理的メモリ空間でより大きいが偶数ならば,必要に応じてインメモリ・データは二次貯蔵(ハードディスクまたは固体ディスクのような)に流出であり,バック後その読み方しなければならない。これらの頻繁なI/O操作は,放電計算の効率に負の影響を与えるであろう。以前提案した当たり列更新可能データモデル化概念の上に構築されると,この研究は,火花システム上で最高のBox-Cox変換モデルを見出す例を検討した。本研究の主要な貢献は,情報は,線形回帰モデルを計算するために必要な,多項式回帰モデルが情報アレイに要約できることである。この情報アレイのサイズはデータセットを用いた成長しなかった。むしろ,特徴の数に関連したのみのモデル数を考慮する必要がある。情報アレイは通常非常に小さいので,常に記憶に貯蔵することができる。提案情報アレイアプローチを用いて,最良線形または多項式回帰モデルは,生データの一走査(one scan)後に得られた。実験結果は,この方法が火花の高速かつ効率的であることを証明した。41モデルを訓練すると,提案したBox-Cox情報アレイ法は既存火花APIよりも約8倍速く,それは,線形回帰モデルを用いた場合よりも予測の優れた性能を示した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 線形性 ,  データモデル ,  放電 ,  記憶装置 ,  計算機アーキテクチャ ,  多項式 ,  クラスタ ,  *回帰モデル ,  円板 ,  偶数 ,  高速度
準シソーラス用語： ハードディスク ,  線形回帰モデル , 【Automatic Indexing@JST】

分類 (1件)： システム・制御理論一般  (IA02010H)

タイトルに関連する用語 (4件)： スパーク ,  データセット ,  Box-Cox変換 ,  発見