文献

J-GLOBAL ID：201502221352472910   整理番号：15A0852221

Apache Hiveを用いたスケーラブルな機械学習機構の構築

Building Scalable Machine Learning Framework on Apache Hive

著者 (2件)： 油井誠 (産業技術総合研 情報技術研究部門) ,  小島功 (産業技術総合研 情報技術研究部門)
資料名： 情報処理学会論文誌トランザクション データベース(Web)  (情報処理学会論文誌 データベース(Web))
巻： 8  号： 1  ページ： 73-87 (WEB ONLY)  発行年： 2015年03月30日 
JST資料番号： U0476A  ISSN： 1882-7799  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 我々はApache Hive上で動作する機械学習ライブラリHivemallをオープンソースソフトウェアとして公開している。Hivemallはオープンソースの機械学習フレームワークとしてデータ量に対するスケーラビリティが最も高いものの1つであり,Hadoop Distributed Filesystem(HDFS)に格納されたデータを入力とした機械学習処理を効率的に扱えるという特徴からHadoop/Hiveに精通する開発者やデータ分析の専門家から注目を集めている。本稿では,Hivemallによるスケーラブルな機械学習を実現するうえで得られた実践的な知見,およびその実現手法を述べる。KDD Cup 2012,Track2の広告クリックスルー率の予測タスクを用いた評価実験により,学習速度に定評のあるState-of-the-artの機械学習フレームワークに対してHivemallがより短い学習時間で同等以上の予測精度を出せることを示し,さらに計算ノードの追加によって学習時間を短縮できることを示す。(著者抄録)

シソーラス用語： *機械学習 ,  *ソフトウェア ,  容量 ,  *スケーラビリティ【計算機】 ,  データ解析 ,  *速度 ,  精度
準シソーラス用語： *オープンソースソフトウェア ,  *データ分析 ,  データ量 ,  *ライブラリー ,  *学習速度 ,  予測精度

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (48件)：

• Dean, J. and Ghemawat, S.: MapReduce: Simplified Data Processing on Large Clusters, Proc. OSDI, pp.137-150 (2004).
• The Apache Foundation: Apache Hadoop, available from (http://hadoop.apache.org/).
• The Apache Foundation: Apache Hive, available from (http://hive.apache.org/).
• Shvachko, K., Kuang, H., Radia, S. and Chansler, R.: The Hadoop Distributed File System, Proc. IEEE Mass Storage Systems and Technologies (MSST), pp.1-10 (2010).
• Zukowski, M., Nes, N. and Boncz, P.: DSM vs. NSM: CPU performance tradeoffs in block-oriented query processing, Proc. DaMoN, pp.47-54 (2008).

タイトルに関連する用語 (3件)： APACHE ,  機械学習 ,  構築