マルチモーダルコミュニケーション支援装置

Inventor： ,
Applicant, Patent owner：
Agent (1)：高橋詔男 (外3名)
Gazette classification：公開公報
Application number (International application number)：1998355206
Publication number (International publication number)：2000184345
Application date： Dec. 14, 1998
Publication date： Jun. 30, 2000
Summary：

【要約】【課題】分散型コミュニケーション環境において、参加ユーザの共有情報に対し、注目する相手及び対象の注目情報を共有情報に反映させて出力する。【解決手段】各通信端末1-1〜1-nの音声入力部11、映像入力部12から入力されたユーザの音声情報、映像情報から、ユーザの発言単語、視線方向等を検出した解析結果が通信回線4を介して対話管理部3へ入力される。対話管理部3は、各通信端末1-1〜1-nからの解析結果から、各ユーザの話題、ユーザの視線等の対話状態を解析し各通信端末1-1〜1-nへ入力する。注目情報解析伝達部23は、対話管理部3からの解析結果と、現時点でのユーザの音声及び映像に関する解析結果から、各ユーザの注目情報を検出し、出力制御信号を生成し注目情報伝達音声生成部24及び注目情報伝達映像生成部25へ出力する。このようにして、共有情報に対してユーザの注目情報を反映したフィードバックを実現する。

Claim (excerpt)：

複数の端末の出力装置、もしくは複数の端末で共有する少なくとも1台の出力装置に、同時にかつ同一の共有情報を出力可能であるとともに、ユーザの注目情報を前記共有情報に反映させ出力することが可能なコミュニケーション支援装置において、前記注目情報を検出するために、ユーザの入力する音声から単語を識別するなどの機能を有する音声解析部と、ユーザの映像からユーザの視線などを検出する機能を有する映像解析部と、前記コミュニケーション支援装置を利用している全てのユーザ毎に出力され、且つ、前記音声解析部及び前記映像解析部の各々の解析結果から、各ユーザが他のどのユーザから視線を向けられているのか、話し掛けられているのかなどの注目情報を検出する要素となる対話の状態を解析する対話管理部と、各ユーザの前記音声解析部、前記映像解析部及び前記対話管理部からの解析結果を統合し、各ユーザがどの相手ユーザの話を聞いており、その相手ユーザは何を見ているのかなどの注目情報を検出し、さらに、該注目情報を前記共有情報に反映させるために、音声及び映像の制御信号を出力する注目情報解析伝達部と、前記注目情報解析伝達部からの音声に関する制御信号に応じて、合成音声を生成するなどの機能を有する注目情報伝達音声生成部と、前記注目情報解析伝達部からの映像に関する制御信号に応じて、相手ユーザの注目領域を強調表示するなどの機能を有する注目情報伝達映像生成部と、を備えていることを特徴とするマルチモーダルコミュニケーション支援装置。

IPC (4)：

H04N 7/15 630 , G06F 3/00 654 , G06F 3/16 320 , G06F 3/16 330

FI (4)：

H04N 7/15 630 Z , G06F 3/00 654 D , G06F 3/16 320 A , G06F 3/16 330 C

F-Term (28)：

5C064AA01 , 5C064AA02 , 5C064AB02 , 5C064AC02 , 5C064AC06 , 5C064AC08 , 5C064AC09 , 5C064AC15 , 5C064AD08 , 5C064AD09 , 5C064AD14 , 5E501AA04 , 5E501AA13 , 5E501AB19 , 5E501AC14 , 5E501BA03 , 5E501BA09 , 5E501CA02 , 5E501CA08 , 5E501CC08 , 5E501DA03 , 5E501EA21 , 5E501FA04 , 5E501FA15 , 5E501FA32 , 5E501FA43 , 5E501FA46 , 5E501FB44

Patent cited by the Patent：

Cited by examiner (2)

多地点間会議装置
Gazette classification：公開公報 Application number：特願平6-018181 Applicant：沖電気工業株式会社
会議システム
Gazette classification：公開公報 Application number：特願平5-211335 Applicant：沖電気工業株式会社

Return to Previous Page