Pat

J-GLOBAL ID：200903072330391401

単語分割モデルの生成方法

Inventor： 山本 博史 ,  菊井 玄一郎
Applicant, Patent owner： 株式会社国際電気通信基礎技術研究所
Agent (1)： 香山 秀幸
Gazette classification：公開公報
Application number (International application number)：2002062625
Publication number (International publication number)：2003263427
Application date： Mar. 07, 2002
Publication date： Sep. 19, 2003
Summary：

【要約】【課題】 この発明は、ヒューリスティクスを用いない教師なし学習による文の分割方法を提供することを目的とする。【解決手段】 単語分割されていない訓練文を用いて単語分割モデルを生成する単語分割モデルの生成方法において、与えられた全ての訓練文から、与えられた辞書エントリを用いて、分割可能な候補単語のネットワークを生成する第1ステップ、第1ステップで生成された候補単語のネットワークに対して、エントロピーが最小化するようなモデルを生成する第2ステップ、および第2ステップで得られたモデルにおいて、既知の単語または単語ペアから次の単語を予測するための確率値である遷移確率値を平滑化する第3ステップを備えている。

Claim (excerpt)：

単語分割されていない訓練文を用いて単語分割モデルを生成する単語分割モデルの生成方法において、与えられた全ての訓練文から、与えられた辞書エントリを用いて、分割可能な候補単語のネットワークを生成する第1ステップ、第1ステップで生成された候補単語のネットワークに対して、エントロピーが最小化するようなモデルを生成する第2ステップ、および第2ステップで得られたモデルにおいて、既知の単語または単語ペアから次の単語を予測するための確率値である遷移確率値を平滑化する第3ステップ、を備えていることを特徴とする単語分割モデルの生成方法。

IPC (2)：

G06F 17/27 ,  G10L 15/18

FI (3)：

G06F 17/27 E ,  G10L 3/00 537 G ,  G10L 3/00 537 A

F-Term (4)：

5B091AA15 ,  5B091CA02 ,  5B091EA01 ,  5D015BB01