文献

J-GLOBAL ID：201902233333705249   整理番号：19A2171889

文符号化器のマルチタスク学習によるテキスト分類モデルの頑健化

著者 (5件)： 大橋空 (大阪大 大学院情報科学研究科) ,  高山隼矢 (大阪大 大学院情報科学研究科) ,  梶原智之 (大阪大 データビリティフロンティア機構) ,  CHU Chenhui (大阪大 データビリティフロンティア機構) ,  荒瀬由紀 (大阪大 大学院情報科学研究科)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2019  号： NL-241  ページ： Vol.2019-NL-241,No.25,1-8 (WEB ONLY)  発行年： 2019年08月22日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 一般的なニューラルテキスト分類モデルは,文をベクトル化する文符号化器と,文ベクトルを基に分類ラベルが付与される確率を計算する分類器からなる。このようなモデルは,特定の単語が出現する文に対し,文意に関わらずその単語との共起頻度が高いラベルに分類しやすくなるという過学習を起こしやすい。これは,文符号化器が分類に強く寄与する単語を過度に反映した文ベクトルを生成するためであると考えられる。この課題に対し本研究では,同じ(異なる)ラベルを持つ文同士のベクトルはベクトル空間で近傍(遠方)に位置すべき,という直感に基づくマルチタスク学習手法を提案する。具体的には,共通のラベルを持つ文同士の文ベクトルが類似するように,文符号化器を通常のテキスト分類タスクおよび同一ラベル判別タスクのマルチタスク学習によって訓練する。同一ラベル判別タスクでは,コーパスからサンプリングした複数の文のうち,どれが入力文と同一のラベルを持つかを判別できるように文符号化器を訓練する。これにより,文符号化に特定の単語が過度に影響するのを抑制し,テキスト分類の性能を改善するような文ベクトルが得られると期待できる。提案手法の有効性を検証するため,単一ラベル分類の6つのデータセットおよび複数ラベル分類の3つのデータセットにおいて,2種類の文符号化器を用いて実験を行った。また,入力が文書であるデータセットについても1種類の文符号化器を用いて実験を行った。これらの実験結果から,6つのデータセットについて全ての文符号化器で提案手法がベースラインを上回る精度を達成し,提案手法の有効性が示された。(著者抄録)

シソーラス用語： 符号器 ,  文章 ,  *機械学習 ,  *自然言語処理 ,  文書 ,  ロバスト性 ,  ベクトル ,  単語 ,  コーパス ,  *自動分類 ,  評価試験 ,  言語モデル ,  Webサービス
準シソーラス用語： 文符号化器 ,  *マルチタスク学習 ,  *テキスト分類

分類 (1件)： 自然語処理  (JE06000L)

引用文献 (17件)：

• Zeng, J., Li, J., Song, Y., Gao, C., Lyu, M. R. and King, I.: Topic Memory Networks for Short Text Classification, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3120-3131 (2018).
• Yang, Z., Yang, D., Dyer, C., He, X., Smola, A. and Hovy, E.: Hierarchical Attention Networks for Document Classification, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1480-1489 (2016).
• Devlin, J., Chang, M.-W., Lee, K. and Toutanova, K.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv preprint arXiv:1810.04805 (2018).
• Phan, X.-H., Nguyen, L.-M. and Horiguchi, S.: Learning to Classify Short and Sparse Text & Web with Hidden Topics from Large-scale Data Collections, Proceedings of the 17th International Conference on World Wide Web, pp. 91-100 (2008).
• Lucia, W. and Ferrari, E.: EgoCentric: Ego Networks for Knowledge-based Short Text Classification, Proceedings of the 23rd ACM International Conference on Information and Knowledge Management, pp. 1079-1088 (2014).

タイトルに関連する用語 (4件)： 文 ,  符号化器 ,  マルチタスク学習 ,  分類モデル