文献

J-GLOBAL ID：201702227624234164   整理番号：17A1943139

類語を考慮した単語分散表現の段階的学習

Phased Learning for Distributed Word Representations Considering Synonym

著者 (2件)： 米倉千晶 (慶応大 大学院理工学研究科) ,  萩原将文 (慶応大 大学院理工学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 117  号： 325(NC2017 27-39)  ページ： 7-12  発行年： 2017年11月17日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 自然言語処理において,単語を機械で扱うための表現方法のひとつに分散表現がある。本稿では,代表的な分散表現学習モデルであるword2vecの学習段階について工夫・改良を行ったモデルを提案する。提案モデルは,認知科学的知見に基づいた工夫を行っている。まずCurriculum Learningに基づき,頻出単語から順に学習を行い徐々に語彙を拡張していく。さらに語彙を拡張する際に,Paraphrase Database(PPDB)を利用することで新出単語に対して類語の情報を与える。評価実験の結果,段階的学習により精度を向上させながら学習時間の削減が実現されたこと,また類語を考慮することにより更なる精度向上の可能性があることを確認した。(著者抄録)

シソーラス用語： 自然言語処理 ,  *単語 ,  *表現 ,  学習モデル ,  認知科学 ,  *取得 ,  学習 ,  同義語
準シソーラス用語： *分散表現 ,  *語彙習得

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

引用文献 (20件)：

• Y. Bengio, R. Ducharme, P. Vincent, and C. Jauvin, ′′A Neural Probabilistic Language Model,′′ Journal of Machine Learning Research, vol.3, no.3, pp.1137-1155, Feb 2003.
• T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean, ′′Distributed representations of words and phrases and their compositionality,′′ Advances in Neural Information Processing Systems 26 (NIPS 2013), pp.3111-3119, 2013.
• Z. S. Harris, Distributional structure, Word, Vol.10, No.2-3, pp.146-162, 1954.
• T. Mikolov, A. Deoras, D. Povey, L. Burget, and J. ?ernock?, ′′Strategies for Training Large Scale Neural Network Language Models,′′ In Automatic Speech Recognition and Understanding (ASRU), 2011 IEEE Workshop on, pp.196-201, Dec 2011.
• Y. Bengio, J. Louradour, R. Collobert, and J. Weston, ′′Curriculum learning,′′ Proc. of the 26th annual international conference on machine learning, pp.41-48, 2009.

タイトルに関連する用語 (5件)： 類語 ,  単語 ,  分散表現 ,  段階 ,  学習