Pat

J-GLOBAL ID：200903007967236829

ロボット視聴覚システム

Inventor： 中臺 一博 ,  日台 健一 ,  奥乃 博 ,  北野 宏明
Applicant, Patent owner： 科学技術振興事業団
Agent (1)： 平山 一幸 (外1名)
Gazette classification：公開公報
Application number (International application number)：2001067847
Publication number (International publication number)：2002264051
Application date： Mar. 09, 2001
Publication date： Sep. 18, 2002
Summary：

【要約】【課題】 対象に対する視覚及び聴覚の情報を統合して、対象の追跡を確実に行なうようにした、ロボット視聴覚システムを提供する。【解決手段】 聴覚モジュール20がマイクの音響信号からピッチ抽出,音源の分離及び定位により話者の音源を同定して聴覚イベント28を抽出し、視覚モジュール30がカメラの画像から話者の顔識別と定位により各話者を同定して視覚イベント39を抽出し、モータ制御モジュール40が駆動モータの回転位置からモータイベント49を抽出し、アソシエーションモジュール60が聴覚イベント,視覚イベント及びモータイベントから聴覚ストリーム65及び視覚ストリーム66を生成し、これらを関連付けてアソシエーションストリーム67を生成することにより、聴覚イベントの音源定位及び視覚イベントの顔定位に基づいて各話者の方向を決定して、これらのストリームに基づいて駆動モータ制御のプランニングのためのアテンション制御を行なう。

Claim (excerpt)：

外部の音を集音する少なくとも一対のマイクを含む聴覚モジュールと、ロボットの前方を撮像するカメラを含む視覚モジュールと、ロボットを水平方向に回動させる駆動モータを含むモータ制御モジュールと、前記聴覚モジュール,視覚モジュール及びモータ制御モジュールからのイベントを統合してストリームを生成するアソシエーションモジュールと、アソシエーションモジュールにより生成されたストリームに基づいてアテンション制御を行なうアテンション制御モジュールと、を備えているロボット視聴覚システムであって、前記聴覚モジュールが、マイクからの音響信号に基づいて、ピッチ抽出,音源の分離及び定位から少なくとも一人の話者の方向を決定して、その聴覚イベントを抽出し、前記視覚モジュールが、カメラにより撮像された画像に基づいて、各話者の顔識別と定位から各話者の音源を同定して、その視覚イベントを抽出し、前記モータ制御モジュールが、駆動モータの回転位置に基づいてモータイベントを抽出することにより、前記アソシエーションモジュールが、聴覚イベント,視覚イベント及びモータイベントから、聴覚イベントの音源定位及び視覚イベントの顔定位の方向情報に基づいて、各話者の方向を決定することにより、聴覚ストリーム及び視覚ストリームを生成し、さらにこれらを関連付けてアソシエーションストリームを生成して、前記アテンション制御モジュールが、これらのストリームに基づいてモータ制御モジュールの駆動モータ制御のプランニングのためのアテンション制御を行なうことを特徴とする、ロボット視聴覚システム。

IPC (15)：

B25J 9/10 ,  A63H 11/00 ,  B25J 5/00 ,  B25J 19/02 ,  G06T 1/00 340 ,  G06T 7/00 300 ,  G06T 7/60 150 ,  G10L 15/28 ,  G10L 17/00 ,  G10L 15/00 ,  G10L 15/22 ,  G10L 15/20 ,  G10L 21/02 ,  G10L 15/02 ,  H04N 7/18

FI (14)：

B25J 9/10 A ,  A63H 11/00 Z ,  B25J 5/00 C ,  B25J 19/02 ,  G06T 1/00 340 A ,  G06T 7/00 300 F ,  G06T 7/60 150 B ,  H04N 7/18 Z ,  G10L 3/00 511 ,  G10L 3/00 545 F ,  G10L 3/00 551 H ,  G10L 3/00 571 T ,  G10L 3/02 301 C ,  G10L 9/00 301 A

F-Term (68)：

2C150BA11 ,  2C150CA01 ,  2C150CA02 ,  2C150CA04 ,  2C150DA04 ,  2C150DA05 ,  2C150DA24 ,  2C150DA25 ,  2C150DA26 ,  2C150DA27 ,  2C150DA28 ,  2C150DF03 ,  2C150DF04 ,  2C150DF06 ,  2C150DF33 ,  2C150ED42 ,  2C150ED47 ,  2C150ED52 ,  2C150EF07 ,  2C150EF16 ,  2C150EF17 ,  2C150EF23 ,  2C150EF29 ,  2C150EF33 ,  2C150EF36 ,  3C007AS34 ,  3C007AS36 ,  3C007CS08 ,  3C007JS03 ,  3C007KS04 ,  3C007KS08 ,  3C007KS18 ,  3C007KS39 ,  3C007KT01 ,  3C007LT08 ,  3C007NS01 ,  3C007WA02 ,  3C007WA03 ,  3C007WB19 ,  3C007WC07 ,  5B057AA05 ,  5B057CA12 ,  5B057CB13 ,  5B057CC03 ,  5B057DA07 ,  5B057DB03 ,  5C054CC05 ,  5C054CD03 ,  5C054CG02 ,  5C054FC12 ,  5C054FF07 ,  5C054HA04 ,  5D015AA03 ,  5D015CC13 ,  5D015DD02 ,  5D015EE04 ,  5D015KK01 ,  5D015KK04 ,  5D015LL06 ,  5L096BA05 ,  5L096BA16 ,  5L096BA18 ,  5L096CA02 ,  5L096DA05 ,  5L096FA67 ,  5L096HA05 ,  5L096JA11 ,  5L096LA12