文献

J-GLOBAL ID：201702240175891932   整理番号：17A0180097

機械学習に基づく火花の調整構成パラメータのための新しい方法【Powered by NICT】

A Novel Method for Tuning Configuration Parameters of Spark Based on Machine Learning

著者 (3件)： Wang Guolu ,  Xu Jungang ,  He Ben
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2016  号： HPCC/SmartCity/DSS  ページ： 586-593  発行年： 2016年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： Apache火花はオープンソース分散データ処理プラットフォーム,大容量のデータを効率的に処理するため分散メモリ抽象化を用いることができる。より広くApache火花の応用により,いくつかの問題を明らかにする。最も重要な側面の一つは,性能問題である。Apache火花は180以上の構成パラメータ,性能を最適化するために,それら自身の特定の応用に応じて,ユーザにより調整することができる。現在これらのパラメータは試行錯誤,大きなパラメータ空間とパラメータ間の複雑な相互作用に因り無効であるが手動で調整した。本論文では,放電のパラメータチューニングプロセスをより効果的にするために,機械学習に基づく火花の同調配置のための新しい方法を提案したが,これは二値分類と多重分類で構成されている。この方法は火花の構成パラメータを自動調整するために用いることができる。さらに,提案した方法に基づくいくつかの一般的な機械学習アルゴリズムを検討し,実験結果は,決定木モデル(C5.0)は精度と計算効率を考慮した最良のモデルであることを示した。最後に,実験結果はまた,性能は火花のデフォルト設定と比較して,提案した方法で平均36%の利得を得ることができることを示した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 分散メモリ ,  放電 ,  自動制御 ,  最適化 ,  利得 ,  同調 ,  学習アルゴリズム ,  *機械学習 ,  ディシジョンツリー
準シソーラス用語： 計算効率 ,  二値分類 ,  パラメータ空間 ,  大容量 ,  オープンソース ,  Apacheモジュール , 【Automatic Indexing@JST】

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (3件)： 機械学習 ,  火花 ,  パラメータ