文献

J-GLOBAL ID：201802272735864544   整理番号：18A0196443

共通N-gramを用いた多言語,短いデータと雑音のあるテキストの言語同定【Powered by NICT】

Language identification in multilingual, short and noisy texts using common N-grams

著者 (2件)： Kosmajac Dijana (Dalhousie University Faculty of Computer Science, 6050 University Ave., NS B3H 1W5, Halifax, Canada) ,  Keselj Vlado (Dalhousie University Faculty of Computer Science, 6050 University Ave., NS B3H 1W5, Halifax, Canada)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： Big Data  ページ： 2752-2759  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 言語識別(LID)の問題は比較的長周期のための自然言語処理領域に存在している。はこの特定のタスクに使用される統計的手法に基づくアプローチの数,および最近ニューラルネットワーク技法の復活とAI法である。:過去に記述された実装解の幾つかは良好な性能を示したが,処理したテキストした文法正しさと均一性の観点から通常クリーンである。類似言語で書かれた短いデータと雑音のあるメッセージにおけるLID,重要な課題,特に非常に関連した言語を調査し検討した。論文で実験方法論では,SVM,Naive Bayes変異体,ランダムフォレストとロジスティック回帰のようなアルゴリズムに基づいている。さらに,に基づく分類法 共通N-gram(CNG)新しい距離を調べた。最後に,追加的訓練データ源としてのWikipediaは分類器の性能を向上させることができるかを検討した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 自然言語処理 ,  *言語 ,  *雑音 ,  ニューラルネットワーク ,  アルゴリズム ,  文法 ,  統計的方法
準シソーラス用語： ウィキペディア ,  訓練データ ,  分類法 ,  ランダムフォレスト ,  *言語同定 ,  *テキスト ,  *多言語 ,  *Nグラム , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (4件)： N-gram ,  多言語 ,  雑音 ,  言語同定