Pat

J-GLOBAL ID：200903013499968400

マルチモーダル情報解析装置

Inventor： 茶園 篤 ,  國枝 和雄
Applicant, Patent owner： 日本電気株式会社
Agent (1)： 高橋 詔男 (外3名)
Gazette classification：公開公報
Application number (International application number)：1999030678
Publication number (International publication number)：2000231427
Application date： Feb. 08, 1999
Publication date： Aug. 22, 2000
Summary：

【要約】【課題】 ユーザが対象とする世界の知識にもとづく複数の各入力モダリティの解釈により、実際の対象世界と意味的に矛盾のない統合を実現可能にする。【解決手段】 ユーザのジェスチャなどの認識結果を空間ベース注目情報検出部21に入力し、対象位置蓄積部23内の対象世界知識を利用して、ユーザが何に注目しているのかを特定し、発話音声などの認識結果をコンテキストベース注目情報検出部22に入力し、対象特性蓄積部24内の対象世界知識を利用して、ユーザが何にどのような注目をしているのかを特定し、これらを注目情報統合部25において、状態管理部26が管理している対象世界の状態やシステム状態などを考慮した上で統合し、ユーザの注目情報を検出する。

Claim (excerpt)：

人間が通常のコミュニケーションにおいて利用するジェスチャや視線,表情,音声などの複数のモダリティを入力として、それらの入力モダリティを統合することで解析結果を出力するマルチモーダル解析装置において、ユーザのジェスチャや視線などから検出された画像認識信号および対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部と、ユーザの発話音声などから検出された音声認識信号および対象特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部と、前記空間ベース注目情報信号と前記コンテキストベース注目情報信号と状態管理部が管理する対象世界に含まれる各対象の現在の状態やシステムとの対話状態とを入力として、ユーザが何に対してどのように注目しているかという情報を検出して、これを注目情報統合信号として出力する注目情報統合部と、前記注目情報統合信号を入力として、その注目情報統合信号の内容に応じて、前記画像認識信号および音声認識信号をそれぞれ出力する画像認識部および前記音声認識部に対して、フィードバック信号を出力するフィードバック生成部と、前記注目情報統合信号を入力として、実際に実現可能であれば対象世界において実際に操作を実行し、実現不可能な場合にはユーザに応答を返し、ユーザとシステムとの対話部分を管理する対話制御部と、該対話制御部で実際に操作を実現する場合に、各対象へのコマンドなどの対象知識を蓄積し管理する対象操作内容蓄積部とを備えていることを特徴とするマルチモーダル情報解析装置。

IPC (2)：

G06F 3/00 601 ,  G06F 3/16 320

FI (2)：

G06F 3/00 601 ,  G06F 3/16 320 A

F-Term (10)：

5E501CB14 ,  5E501CB15 ,  5E501CC01 ,  5E501CC08 ,  5E501CC11 ,  5E501DA15 ,  5E501DA17 ,  5E501FA14 ,  5E501FA45 ,  5E501FA50