文献

J-GLOBAL ID：202302227558507162   整理番号：23A0950081

語彙制約付きニューラル単語分割器を用いた後処理としての単語分割の後段タスクへの最適化

著者 (2件)： 平岡達也 (富士通) ,  岩倉友哉 (富士通)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 29th  ページ： ROMBUNNO.Q6-5 (WEB ONLY)  発行年： 2023年03月 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本稿では,後段タスクのモデルを改変することなく,単語分割器をモデルに最適化することで,精度改善を行う手法を提案する.本手法は,精度を改善したいタスクのモデルが与えられた際に,モデルが扱える単語に出力を制限しつつ,モデルにおける損失関数を最小化する単語列を生成するような単語分割器を学習する.また,文脈情報をよりよく捉えるために,LSTM上で語彙制約付きの単語分割手法を提案する.本手法を,日本語,中国語,英語の文書分類タスクで評価した結果,ユニグラム言語モデルによる単語分割の最適化手法,単語の限定を行わないニューラル単語分割器と比較し,提案手法が性能の向上に寄与することが示された.(著者抄録)

シソーラス用語： *文法 ,  *最適化 ,  後処理 ,  ニューラルネットワーク ,  機械学習 ,  自然言語処理 ,  *改変
準シソーラス用語： LSTM ,  *語彙制約 ,  *単語分割 ,  単語分割器

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (6件)： 語彙 ,  制約 ,  単語分割 ,  後処理 ,  タスク ,  最適化