文献

J-GLOBAL ID：200902209741128843   整理番号：08A0254263

大規模テキストコーパスを用いた語の類似度計算に関する考察

On Calculating Word Similarity Using Large Text Corpora

著者 (2件)： 相澤彰子 (国立情報学研) ,  相澤彰子 (総合研究大学院大)
資料名： 情報処理学会論文誌  (IPSJ Journal)
巻： 49  号： 3  ページ： 1426-1436  発行年： 2008年03月15日 
JST資料番号： Z0778A  ISSN： 0387-5806  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,タグなしテキストから類語関係を抽出するタスクを例にとり,自然言語処理における大規模コーパスの適用について考察する。近年ではウェブに代表される大規模なテキスト集合が利用可能となり,単純な手法でもコーパス規模が十分に大きければ,潜在的意味解析法(LSA)などの従来手法と比較しうる高い性能が得られるとの報告もある。そこで論文中では,まず,大規模コーパスを用いた語の類似度計算における問題点を実際のデータに基づき調べる。次に,広範囲の語と共起する語が類似度計算におけるノイズとなるという前提のもと,ノイズ低減のためフィルタリング法,サンプリング法の2つの方法を提案する。また,評価のための類語抽出タスクを設計し,新聞記事およびウェブ文書コレクションの2つのコーパスを用いて,提案手法による性能改善を確認する。(著者抄録)

シソーラス用語： *自然言語処理 ,  *コーパス ,  大規模系 ,  Web【情報システム】 ,  意味解析 ,  度 ,  類似性 ,  単語 ,  フィルタリング ,  雑音低減 ,  標本抽出 ,  用語 ,  新聞
準シソーラス用語： サンプリング【統計】 ,  ノイズ ,  潜在的意味解析 ,  類語 ,  類似度

分類 (2件)： 自然語処理  (JE06000L) ,  情報加工一般  (AC05010A)

引用文献 (23件)：

• Turney, P. D.: Mining the Web for Synonyms: PMI-IR versus LSA on TOEFL, Proc.12th European Conference on Machine Learning, pp. 491-502(2001).
• Hearst, M. A.: Automatic Acquisition of Hyponyms from Large Text Corpora, Proc.14th International Conference on Computational Linguistics, pp. 539-545(1992).
• 安藤まや, 関根 聡, 石崎 俊: 定型表現を利用した新聞記事からの下位概念単語の自動抽出, 情報処理学会研究会報告, FI-72/NL-157, pp. 77-82(2003).
• Morin, E. and Jacquemin, C.: Automatic Acquisition and Expansion of Hypernym Links, Computer and the Humanities, Vol.38, No.4, pp. 343-362(2004).
• Lin, D.: Automatic Retrieval and Clustering of Similar Words, Proc.36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics, pp. 768-774(1998).

タイトルに関連する用語 (5件)： 大規模 ,  テキストコーパス ,  語 ,  類似度 ,  計算