Pat

J-GLOBAL ID：200903013283190501

音声とジェスチャによるマルチモーダル表現の時間的関係を用いた認識方法

Inventor： 長屋 茂喜 ,  古川 清 ,  岡 隆一
Applicant, Patent owner： 株式会社日立製作所 ,  技術研究組合新情報処理開発機構 ,  社団法人日本鉄鋼連盟
Agent (1)： 谷 義一 (外1名)
Gazette classification：公開公報
Application number (International application number)：1997234611
Publication number (International publication number)：1999073297
Application date： Aug. 29, 1997
Publication date： Mar. 16, 1999
Summary：

【要約】【課題】 ジェスチャの意味を示す音声とその音声とともに行われたジェスチャの対応付けを行う。【解決手段】 動画像に基づき動作の停止位置T1〜T3を検出する。また、音声を単語認識し、その単語の発声開始および終了位置T11、T12を検出する。発声開始および終了位置T11,T12に最も近い停止位置T1、T2をジェスチャ開始および終了位置とし、開始および終了位置T1,T2,T11,T12により音声とジェスチャを対応づける。

Claim (excerpt)：

ジェスチャ内容を示す音声を伴うジェスチャを認識する認識方法において、前記音声に対して単語認識を施し、前記単語認識において、単語の発声開始時点および発声終了時点をそれぞれ検出し、ジェスチャを撮影した動画像に基づき該ジェスチャの動作が停止する停止時点を検出し、当該検出した停止時点の中で、前記発声開始時点および発声終了時点にそれぞれ最も近い停止時点を検出することによりジェスチャと対応の音声とを関連付けることを特徴とする認識方法。

IPC (6)：

G06F 3/16 320 ,  G06F 3/16 ,  G06F 3/03 380 ,  G06F 3/033 310 ,  G06T 1/00 ,  G10L 3/00 571

FI (6)：

G06F 3/16 320 F ,  G06F 3/16 320 A ,  G06F 3/03 380 Q ,  G06F 3/033 310 Y ,  G10L 3/00 571 G ,  G06F 15/62 380

Patent cited by the Patent：

Cited by examiner (2)

• 統合認識対話装置
  Gazette classification：公開公報   Application number：特願平7-038581   Applicant：シャープ株式会社, 技術研究組合新情報処理開発機構
• 動画像処理システム
  Gazette classification：公開公報   Application number：特願平7-255939   Applicant：株式会社日立製作所, 技術研究組合新情報処理開発機構