文献

J-GLOBAL ID：202402245624444887   整理番号：24A0859412

文書分類のためのクラス情報を考慮したトークン分割

著者 (2件)： 平岡達也 (富士通) ,  岩倉友哉 (富士通)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 30th  ページ： ROMBUNNO.P6-2 (WEB ONLY)  発行年： 2024年03月04日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本稿では,クラスの情報を有効活用することで文書分類タスクに特化したトークン分割の処理を提案する.ユニグラム言語モデルベースのトークン分割器に,エントロピーに基づく重みを掛け合わせることで,あるクラスに特徴的なトークンを優先的に使用するようなトークン分割を行う.実験より,複数の文書分類のデータセットで提案手法による性能の向上が得られることが分かった.また,クラスが未知の場合であっても,疑似的なクラスによって性能の向上が得られる場合があることを報告する.(著者抄録)

シソーラス用語： *自然言語処理 ,  トークン ,  形態素解析 ,  *分類 ,  言語モデル
準シソーラス用語： *トークン分割 ,  *文書分類 ,  文書分類タスク

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： 文書 ,  分類 ,  クラス ,  トークン