文献

J-GLOBAL ID：201602275107320132   整理番号：16A0542250

最大化サブストリングのマイニングによる中国語単語セグメンテーションおよび未知語抽出

Chinese Word Segmentation and Unknown Word Extraction by Mining Maximized Substring

著者 (3件)： SHEN Mo (Kyoto Univ.) ,  KAWAHARA Daisuke (Kyoto Univ.) ,  KUROHASHI Sadao (Kyoto Univ.)
資料名： 自然言語処理  (Journal of Natural Language Processing)
巻： 23  号： 3  ページ： 235-266  発行年： 2016年06月15日 
JST資料番号： L3934A  ISSN： 1340-7619  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： 中国語単語セグメンテーションは,中国語処理において初期の重要なステップである。最新の機械学習技法における進展により中国語単語セグメンテーションシステムの性能向上がなされて来たが,この研究分野では語彙外単語の同定処理が依然として主要な問題となっている。最新の研究では,ラベル無しデータの中に頻繁に登場するサブストリングの特徴を利用することによりこの問題の解決が試みられている。本論文では,未知語協会の優れた推定機能を提供する最大サブストリングと呼ばれる高頻度サブストリングという特定のタイプのものを抽出するためのシンプルではあるが効果的なアプローチを提案した。中国語単語セグメンテーションタスクにおいて,セグメンテーション精度改善のために大規模ラベル無しデータから抽出されるこれらサブストリングを利用した。異なるドメインから得られた各種のデータセットを用いた実験を通して提案アプローチの有効性を示した。未知語抽出タスクにおいては,抽出されたサブストリングにおけるノイズ削減を効果的に行う後処理技法を適用した。以前の研究において広く適用された中国語単語認識による結果との比較を行い,提案アプローチの有効性および効率性を示した。(翻訳著者抄録)

シソーラス用語： *自然言語処理 ,  *セグメンテーション ,  中国語 ,  単語 ,  用語 ,  *データマイニング ,  情報抽出 ,  認識 ,  計算機アルゴリズム ,  特徴選択 ,  雑音除去 ,  評価試験 ,  語彙
準シソーラス用語： サブストリング ,  協調性 ,  単語認識 ,  *中国語単語セグメンテーション ,  未知語 ,  知識抽出

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

引用文献 (47件)：

• Agrawal, R. and Srikant, R. (1994). “Fast Algorithms for Mining Association Rules.” In Proceedings of 20th International Conference on Very Large Data Bases, VLDB, Vol. 1215, pp. 487-499.
• Allen, J. F. (1983). “Maintaining Knowledge about Temporal Intervals.” Communications of the ACM, 26 (11), pp. 832-843.
• Asahara, M. (2003). Corpus-based Japanese Morphological Analysis. Ph.D. thesis, Citeseer.
• Asahara, M., Fukuoka, K., Azuma, A., Goh, C.-L., Watanabe, Y., Matsumoto, Y., and Tsuzuki, T. (2005). “Combination of Machine Learning Methods for Optimum Chinese Word Segmentation.” In Proceedings of the 4th SIGHAN Workshop on Chinese Language Processing, pp. 134-137.
• Chen, A., Zhou, Y., Zhang, A., and Sun, G. (2005). “Unigram Language Model for Chinese Word Segmentation.” In Proceedings of the 4th SIGHAN Workshop on Chinese Language Processing, pp. 138-141. Association for Computational Linguistics Jeju Island, Korea.

タイトルに関連する用語 (6件)： 最大化 ,  サブ ,  中国 ,  単語 ,  セグメンテーション ,  未知語