文献

J-GLOBAL ID：202002290324402555   整理番号：20A0658246

近代の歴史的資料を対象とした機械学習による文境界推定

Machine Learning-based Sentence Boundary Detection for Modern Japanese Texts

著者 (4件)： 白井良介 (首都大学東京) ,  松村雪桜 (首都大学東京) ,  小木曽智信 (国語研) ,  小町守 (首都大学東京)
資料名： 情報処理学会論文誌ジャーナル(Web)
巻： 61  号： 2  ページ： 152-161 (WEB ONLY)  発行年： 2020年02月15日 
JST資料番号： U0452A  ISSN： 1882-7764  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本稿では,機械学習を用いて近代の歴史的資料に対して文境界を検出する手法を提案する.近代の歴史的資料は明確な文境界が必ずしも存在しないため,これまで人手作業による文境界の付与が行われてきたが,膨大な資料に対してなかなか作業が進んでいない現状がある.そこで我々は機械学習を用いて文境界を検出する手法を提案する.この手法により膨大な量の資料に対して文境界の一次的なアノテーションを施すことができることに加えて,形態素解析の精度を向上させたことが本研究の貢献である.また,モデルの訓練に日本語の近代語のデータを使用して,複数の機械学習手法を比較して近代の歴史的資料を対象とした文境界推定を行うのは本研究が初めてである.(著者抄録)

シソーラス用語： *機械学習 ,  *文書 ,  *文章 ,  *検出 ,  アノテーション ,  形態素解析 ,  言語
準シソーラス用語： *境界検出 ,  近代語 ,  *文 ,  *歴史的文書

分類 (1件)： 自然語処理  (JE06000L)

引用文献 (26件)：

• Cho, K., van Merrienboer, B., Bahdanau, D. and Bengio, Y.: On the Properties of Neural Machine Translation: Encoder-Decoder Approaches, Proc. SSST, pp.103-111 (2014).
• Kudo, T. and Matsumoto, Y.: Chunking with Support Vector Machines, Proc. NAACL, pp.192-199 (2001).
• Kudo, T., Yamamoto, K. and Matsumoto, Y.: Applying Conditional Random Fields to Japanese Morphological Analysis, Proc. EMNLP, pp.230-237 (2004).
• Lafferty, J.D., McCallum, A. and Pereira, F.C.N.: Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data, Proc. ICML, pp.282-289 (2001).
• Qi, P., Dozat, T., Zhang, Y. and Manning, C.D.: Universal Dependency Parsing from Scratch, Proc. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp.160-170 (2018).

タイトルに関連する用語 (7件)： 近代 ,  歴史 ,  資料 ,  機械学習 ,  文 ,  境界 ,  推定