特許

J-GLOBAL ID：200903049355858426

ロボット視聴覚システム

発明者： 中臺 一博 ,  日台 健一 ,  奥乃 博 ,  北野 宏明
出願人/特許権者： 科学技術振興事業団
代理人 (1件)： 平山 一幸 (外1名)
公報種別：公開公報
出願番号（国際出願番号）：特願2001-067849
公開番号（公開出願番号）：特開2002-264053
出願日： 2001年03月09日
公開日（公表日）： 2002年09月18日
要約：

【要約】【課題】 対象に対する視覚及び聴覚の追跡を行なって、視覚及び聴覚の双方を使用してロボットの視聴覚サーボを行なうようにした、ロボット視聴覚システムを提供する。【解決手段】 聴覚モジュール20がマイクの音響信号からピッチ抽出,音源の分離及び定位により話者の音源を同定して聴覚イベント28を抽出し、視覚モジュール30がカメラの画像から話者の顔識別と定位により視覚イベント39を抽出し、モータ制御モジュール40が駆動モータの回転位置からモータイベント49を抽出し、アソシエーションモジュール60が聴覚イベント,視覚イベント及びモータイベントから聴覚ストリーム65及び視覚ストリーム66を生成し、これらを関連付けてアソシエーションストリーム67を生成して、アテンション制御モジュール64が、アソシエーションストリームに基づいてアテンション制御を行なって、ロボットの視聴覚サーボを行なう。

請求項（抜粋）：

外部の音を集音する少なくとも一対のマイクを含む聴覚モジュールと、ロボットの前方を撮像するカメラを含む視覚モジュールと、ロボットを水平方向に回動させる駆動モータを含むモータ制御モジュールと、前記聴覚モジュール,視覚モジュール及びモータ制御モジュールからのイベントを統合してストリームを生成するアソシエーションモジュールと、アソシエーションモジュールにより生成されたストリームに基づいてアテンション制御を行なうアテンション制御モジュールと、を備えているロボット視聴覚システムであって、前記聴覚モジュールが、マイクからの音響信号に基づいて、ピッチ抽出,音源の分離及び定位から、少なくとも一人の話者の音源を同定してその聴覚イベントを抽出し、前記視覚モジュールが、カメラにより撮像された画像に基づいて、各話者の顔識別と定位からその視覚イベントを抽出し、前記モータ制御モジュールが、駆動モータの回転位置に基づいて、モータイベントを抽出することにより、前記アソシエーションモジュールが、聴覚イベント,視覚イベント及びモータイベントから、聴覚ストリーム及び視覚ストリームと、これらを関連付けたアソシエーションストリームを生成して、前記アテンション制御モジュールが、アソシエーションストリームに基づいてモータ制御モジュールの駆動モータ制御のプランニングのためのアテンション制御を行なって、ロボットの視聴覚サーボを行なうことを特徴とする、ロボット視聴覚システム。

IPC (16件)：

B25J 9/10 ,  B25J 5/00 ,  B25J 19/02 ,  G06T 1/00 340 ,  G06T 7/00 300 ,  G06T 7/60 150 ,  G10L 11/04 ,  G10L 13/00 ,  G10L 15/28 ,  G10L 17/00 ,  G10L 15/00 ,  G10L 15/22 ,  G10L 15/20 ,  G10L 21/02 ,  G10L 15/02 ,  H04N 7/18

FI (15件)：

B25J 9/10 A ,  B25J 5/00 C ,  B25J 19/02 ,  G06T 1/00 340 A ,  G06T 7/00 300 F ,  G06T 7/60 150 B ,  H04N 7/18 Z ,  G10L 3/00 C ,  G10L 3/00 Q ,  G10L 3/00 511 ,  G10L 3/00 545 F ,  G10L 3/00 551 H ,  G10L 3/00 571 T ,  G10L 3/02 301 C ,  G10L 9/00 301 A

Fターム (47件)：

3C007AS34 ,  3C007AS36 ,  3C007CS08 ,  3C007JS03 ,  3C007KS04 ,  3C007KS08 ,  3C007KS18 ,  3C007KS20 ,  3C007KS39 ,  3C007KT01 ,  3C007KT11 ,  3C007KT15 ,  3C007LT08 ,  3C007NS01 ,  3C007WA02 ,  3C007WA03 ,  3C007WB19 ,  3C007WC07 ,  3C007WC16 ,  5B057AA05 ,  5B057BA02 ,  5B057CA12 ,  5B057CA16 ,  5B057DA06 ,  5B057DB02 ,  5C054AA01 ,  5C054CA04 ,  5C054CA08 ,  5C054CC05 ,  5C054CD03 ,  5C054CG06 ,  5C054EF06 ,  5C054FC12 ,  5C054FF07 ,  5C054HA04 ,  5D015AA03 ,  5D015CC13 ,  5D015DD02 ,  5D015EE04 ,  5D015KK01 ,  5D015KK04 ,  5D015LL06 ,  5D045AB11 ,  5L096BA05 ,  5L096CA02 ,  5L096FA69 ,  5L096HA09

引用特許：

審査官引用 (1件)

• ロボット視聴覚システム
  公報種別：公開公報   出願番号：特願2001-067846   出願人：科学技術振興事業団