特許

J-GLOBAL ID：200903072330391401

単語分割モデルの生成方法

発明者： 山本 博史 ,  菊井 玄一郎
出願人/特許権者： 株式会社国際電気通信基礎技術研究所
代理人 (1件)： 香山 秀幸
公報種別：公開公報
出願番号（国際出願番号）：特願2002-062625
公開番号（公開出願番号）：特開2003-263427
出願日： 2002年03月07日
公開日（公表日）： 2003年09月19日
要約：

【要約】【課題】 この発明は、ヒューリスティクスを用いない教師なし学習による文の分割方法を提供することを目的とする。【解決手段】 単語分割されていない訓練文を用いて単語分割モデルを生成する単語分割モデルの生成方法において、与えられた全ての訓練文から、与えられた辞書エントリを用いて、分割可能な候補単語のネットワークを生成する第1ステップ、第1ステップで生成された候補単語のネットワークに対して、エントロピーが最小化するようなモデルを生成する第2ステップ、および第2ステップで得られたモデルにおいて、既知の単語または単語ペアから次の単語を予測するための確率値である遷移確率値を平滑化する第3ステップを備えている。

請求項（抜粋）：

単語分割されていない訓練文を用いて単語分割モデルを生成する単語分割モデルの生成方法において、与えられた全ての訓練文から、与えられた辞書エントリを用いて、分割可能な候補単語のネットワークを生成する第1ステップ、第1ステップで生成された候補単語のネットワークに対して、エントロピーが最小化するようなモデルを生成する第2ステップ、および第2ステップで得られたモデルにおいて、既知の単語または単語ペアから次の単語を予測するための確率値である遷移確率値を平滑化する第3ステップ、を備えていることを特徴とする単語分割モデルの生成方法。

IPC (2件)：

G06F 17/27 ,  G10L 15/18

FI (3件)：

G06F 17/27 E ,  G10L 3/00 537 G ,  G10L 3/00 537 A

Fターム (4件)：

5B091AA15 ,  5B091CA02 ,  5B091EA01 ,  5D015BB01