文献

J-GLOBAL ID：202002220477167810   整理番号：20A0946067

RNNにより高次の依存を考慮したニューラル隠れマルコフモデル

著者 (5件)： 平岡達也 (東京工大) ,  高瀬翔 (東京工大) ,  内海慶 (デンソーアイティーラボラトリ) ,  欅惇志 (デンソーアイティーラボラトリ) ,  岡崎直観 (東京工大)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 26th  ページ： ROMBUNNO.P6-5 (WEB ONLY)  発行年： 2020年 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・自然言語などの系列データを用いた問題を解く上で,品詞や話題遷移などの隠れ状態を的確に捉え活用することが重要。
・隠れ状態を推定する方法としては,隠れマルコフモデル(HMM)の遷移確率と出力確率の計算にニューラルネットワークを用いて教師なし品詞タグ付けなどのタスクで性能を向上。
・ニューラルHMM(NHMM)は単純マルコフ過程をベースとし,遷移確率の計算に用いる隠れ状態は直前のもののみだが,品詞などの自然言語の隠れ状態には高次依存考慮の的確状態推定。
・本研究では,可能なあらゆる隠れ状態の系列をRNNでエンコードし,隠れ状態間の高次依存を直接的に考慮する手法を提案。
・一文に対する隠れ状態の組み合わせ数は膨大であるため,より確からしい隠れ状態の遷移の情報に重きを置いたRNNのセルを計算。
・そこで提案手法では,遷移確率を計算するためのスコア行列を用いてセルに重み付けを行い,これにより,RNNのセルに隠れ状態間の高次依存関係が反映されると仮定。
・提案手法は教師なし品詞タグ付けで評価し,提案手法が隠れ状態の高次依存を適切に捉えられることを確認するため,人工データで実験。

シソーラス用語： 自然言語処理 ,  ニューラルネットワーク ,  *隠れMarkovモデル ,  状態推定 ,  遷移確率 ,  教師なし学習 ,  標識 ,  構文分析 ,  *品詞 ,  *品詞タグ付け
準シソーラス用語： *再帰型ニューラルネット ,  出力確率

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (2件)： RNN ,  隠れマルコフモデル