文献

J-GLOBAL ID：201802248094471209   整理番号：18A0536496

スパークMllibに基づいたニュースのトピックモデリング【Powered by NICT】

Topic modeling of news based on spark Mllib

著者 (2件)： Gui Jing (Internet Information Research Institute, Communication University of China, Beijing100024, China) ,  Wang Qi (Collaborative Innovation Center, Communication University of China, Beijing, China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ICCWAMTIP  ページ： 224-228  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 近年,スパークは,従来のデータマイニングと機械学習アルゴリズムを実装におけるHadoopの欠陥の構成する最も熱いデータ処理フレームワークの一つとなっている。火花プラットフォームに基づいて,本論文では,それらのトピックスをモデル化するためにMLlibにLDAモデルを用いてニュースを取り上げた。本論文の主要な研究は,インターネット上の大規模ニュースコーパスを収集するクローラを用いて,データを処理し,MLlibにおけるLDAモデルと呼ぶにScala言語を用いた。反復の最適数を最初に決定し,話題の最適数はVfold交差検証の統計的手法による推定し,最終的にニュースコーパスのトピックモデリングを実現した。実験で得られた各ニュースの話題確率分布は,ニュースコーパスの構築に適用した。火花局所モードでは,実験は,プログラムコードと初期デバッグによるトピックモデリングの機能を達成した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 言語 ,  統計的方法 ,  *モデリング ,  局在振動 ,  *ニュース ,  インターネット ,  データマイニング ,  確率分布 ,  デバッギング ,  学習アルゴリズム ,  データ処理 ,  計算機コード
準シソーラス用語： Hadoop , 【Automatic Indexing@JST】

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： スパーク ,  ニュース ,  トピック ,  モデリング