Pat
J-GLOBAL ID：200903036083537574
ロボット視聴覚システム
Inventor：
,
,
Applicant, Patent owner：
Agent (1)：
平山 一幸 (外1名)
Gazette classification：公開公報
Application number (International application number)：2002056670
Publication number (International publication number)：2003251583
Application date： Mar. 01, 2002
Publication date： Sep. 09, 2003
Summary：
【要約】【課題】 目標に対する視覚及び聴覚の情報を統合して、目標の音源定位を正確に行なうようにした、ロボット視聴覚システムを提供する。【解決手段】 聴覚モジュール20,顔モジュール30,ステレオモジュール37,モータ制御モジュール40と、各モジュールを制御するアソシエーションモジュール50とを備え、アソシエーションモジュールが、聴覚モジュールからの聴覚イベント28,顔モジュールからの顔イベント39,ステレオモジュール37からのステレオイベント39a,モータ制御モジュールからのモータイベント48から聴覚ストリーム55及び視覚ストリーム56と、これらを関連付けたアソシエーションストリーム57を生成すると共に、聴覚モジュールが、アソシエーションモジュールからの正確な音源方向情報に基づいて、アクティブ方向通過型フィルタ23aによる音源分離を行なうようにロボット視聴覚システム17を構成する。
Claim (excerpt)：
外部の音を集音する少なくとも一対のマイクを含む聴覚モジュールと、ロボットの前方を撮像するカメラを含む顔モジュールと、ステレオカメラにより物体を抽出するステレオモジュールと、ロボットを水平方向に回動させる駆動モータを含むモータ制御モジュールと、上記聴覚モジュール,顔モジュール,ステレオモジュール及びモータ制御モジュールからのイベントを統合してストリームを生成するアソシエーションモジュールと、アソシエーションモジュールにより生成されたストリームに基づいてアテンション制御を行なうアテンション制御モジュールと、を備えていて、上記聴覚モジュールが、マイクからの音響信号に基づいて、ピッチ抽出,調波構造に基づいたグルーピングによる音源の分離及び定位から、少なくとも一人の話者の方向を決定してその聴覚イベントを抽出し、上記顔モジュールが、カメラにより撮像された画像に基づいて、各話者の顔識別と定位から、各話者を同定してその顔イベントを抽出し、上記ステレオモジュールが、ステレオカメラにより撮像された画像から抽出された視差に基づいて縦に長い物体を抽出定位してステレオイベントを抽出し、上記モータ制御モジュールが、駆動モータの回転位置に基づいてモータイベントを抽出し、これにより、上記アソシエーションモジュールが、聴覚イベント,顔イベント,ステレオイベント及びモータイベントから、聴覚イベントの音源定位及び顔イベントの顔定位並びにステレオイベントの物体定位の方向情報に基づいて各話者の方向を決定し、カルマンフィルタを用いてイベントを時間方向に接続することにより聴覚ストリーム,顔ストリーム及びステレオストリームを生成し、さらにこれらを関連付けてアソシエーションストリームを生成して、上記アテンション制御モジュールが、これらのストリームに基づいてアテンション制御とそれに伴う行動のプランニング結果に基づいて、モータの駆動制御を行なうロボット視聴覚システムであって、上記聴覚モジュールが、アソシエーションモジュールからの正確な音源方向情報に基づいて、聴覚特性に従って正面方向で最小となり且つ左右に角度が大きくなるにつれて大きくなるパスレンジを有するアクティブ方向通過型フィルタにより、所定幅の範囲内の両耳間位相差(IPD)または両耳間強度差(IID)をもったサブバンドを集めて、音源の波形を再構築することにより音源分離を行なうことを特徴とする、ロボット視聴覚システム。
IPC (2)：
FI (2)：
B25J 13/08 Z
, B25J 19/02
3C007AS36
, 3C007BS09
, 3C007KS01
, 3C007KS39
, 3C007KT03
, 3C007KT04
, 3C007MT04
, 3C007WA03
, 3C007WB19
