ロボット視聴覚システム

発明者： , , ,
出願人/特許権者：
代理人 (1件)：平山一幸 (外1名)
公報種別：公開公報
出願番号（国際出願番号）：特願2001-067846
公開番号（公開出願番号）：特開2002-264058
出願日： 2001年03月09日
公開日（公表日）： 2002年09月18日
要約：

【要約】【課題】対象に対する視覚及び聴覚の追跡を行なうためのリアルタイム処理を可能にするようにした、ロボット視聴覚システムを提供する。【解決手段】聴覚モジュール20がマイクの音響信号からピッチ抽出,音源の分離及び定位により話者の音源を同定して聴覚イベント28を抽出し、視覚モジュール30がカメラの画像から話者の顔識別と定位により視覚イベント39を抽出し、ロボットを水平方向に回動させるモータ制御モジュール40がモータの回転位置からモータイベント49を抽出し、各モジュールを制御するアソシエーションモジュール60が聴覚イベント,視覚イベント及びモータイベントから聴覚ストリーム65及び視覚ストリーム66を生成し、これらを関連付けてアソシエーションストリーム67を生成して、アテンション制御モジュール64が駆動モータ制御のプランニングのためのアテンション制御を行なう。

請求項（抜粋）：

外部の音を集音する少なくとも一対のマイクを含む聴覚モジュールと、ロボットの前方を撮像するカメラを含む視覚モジュールと、ロボットを水平方向に回動させる駆動モータを含むモータ制御モジュールと、前記聴覚モジュール,視覚モジュール及びモータ制御モジュールからのイベントを統合してストリームを生成するアソシエーションモジュールと、アソシエーションモジュールにより生成されたストリームに基づいてアテンション制御を行なうアテンション制御モジュールと、を備えているロボット視聴覚システムであって、前記聴覚モジュールが、マイクからの音響信号に基づいて、ピッチ抽出,音源の分離及び定位から、少なくとも一人の話者の音源を同定して、その聴覚イベントを抽出し、前記視覚モジュールが、カメラにより撮像された画像に基づいて、各話者の顔識別と定位から、その視覚イベントを抽出し、前記モータ制御モジュールが、駆動モータの回転位置に基づいて、モータイベントを抽出することにより、前記アソシエーションモジュールが、聴覚モジュールからの聴覚イベント,視覚モジュールからの視覚イベント及びモータ制御モジュールからのモータイベントに基づいて、聴覚ストリーム及び視覚ストリームを生成し、さらにこれらを関連付けてアソシエーションストリームを生成して、前記アテンション制御モジュールが、これらのストリームに基づいてモータ制御モジュールの駆動モータ制御のプランニングのためのアテンション制御を行なうことを特徴とする、ロボット視聴覚システム。

IPC (7件)：

B25J 13/08 , B25J 5/00 , G06T 1/00 340 , G10L 15/28 , G10L 17/00 , G10L 15/00 , H04N 7/18

FI (7件)：

B25J 13/08 A , B25J 5/00 C , G06T 1/00 340 A , H04N 7/18 Z , G10L 3/00 511 , G10L 3/00 545 A , G10L 3/00 551 H

Fターム (27件)：

3C007AS36 , 3C007JS05 , 3C007KS11 , 3C007KS39 , 3C007KT01 , 3C007MT14 , 3C007WA02 , 3C007WA03 , 3C007WB17 , 3C007WB19 , 3C007WC25 , 3C007WC26 , 5B057AA05 , 5B057BA02 , 5B057BA04 , 5B057DA07 , 5B057DB02 , 5B057DB06 , 5B057DB09 , 5B057DC32 , 5B057DC40 , 5C054AA01 , 5C054CC02 , 5C054FC11 , 5C054FF05 , 5C054HA04 , 5D015AA03

引用特許：

審査官引用 (1件)

ロボット視聴覚システム
公報種別：公開公報出願番号：特願2001-067849 出願人：科学技術振興事業団

前のページに戻る