Pat
J-GLOBAL ID：200903066305354933
顔面動き情報符号化/復号化装置
Inventor：
Applicant, Patent owner：
Agent (1)：
大島 陽一
Gazette classification：公開公報
Application number (International application number)：1997344562
Publication number (International publication number)：1998215452
Application date： Dec. 15, 1997
Publication date： Aug. 11, 1998
Summary：
【要約】【課題】 3次元の顔面モデルを用いて、伝送すべきデータの量をより一層減らして顔面動き情報を符号化し得る顔動き情報符号化装置を提供する。【解決手段】 新たな顔つきの1つまたは複数の2D顔面映像から適応的3Dモデルを発生する適応的3Dモデル生成部10と、2D映像信号と適応的3Dモデルとの間の回転相関関係を用いて基本パターンを発生する基本パターン生成部18と、2D映像信号から新たな顔つきの複数の特徴領域を取出す特徴取出し部20と、複数の変換パラメータを取出す各取出し部22、24、26及び28と、新たな顔つきの状態を表す音声ビット信号を発生する音声分析部30と、変換パラメータを変更して、変更された変換パラメータを発生する第2口取出し部32と、初期データ及び変換パラメータ、または変更された変換パラメータを符号化するフォーマッター36とを含む。
Claim (excerpt)：
新たな顔つきに対する音声信号及び2次元(2D)映像信号が、フレーム単位またはフィールド単位のうちの何れか1つに供給されるとき、3次元(3D)モデルベース符号化システムにおいて、前記音声信号及び前記2D映像信号に基づいて、前記新たな顔付きに対する顔面動き情報を符号化する顔面動き情報符号化装置であって、人の共通的な顔面の3Dモデルを表す基本的な3Dモデルに基づいて、前記新たな顔つきの一つまたは複数の2D顔面映像を表す初期データから適応的3Dモデルを発生する適応的3Dモデル生成器と、前記適応的3Dモデルに基づいて前記2D映像信号に対して、前記2D映像信号と前記適応的3Dモデルとの間の回転相関関係によって得られる2Dピクチャーを表す基本パターンを発生する基本パターン生成器と、前記2D映像信号から多くの変換が発生する1つまたは複数の領域を表す前記新たな顔つきの1つまたは複数の特徴領域を取出す特徴取出手段と、前記特徴領域と前記基本パターンとを比較して、その比較結果を表す複数の変換パラメータを検出するパラメータ生成器と、前記音声信号に基づいて、前記新たな顔つきが話しているか、または感情を表現しているかを表すsound_bit信号を発生する音声分析部と、前記sound_bitに応じて、前記音声信号に基づいて変換パラメータを変更して、変更された変換パラメータを発生するパラメータ変更器と、前記初期データ及び前記変換パラメータ、または前記変更された変換パラメータを符号化するフォーマッターとを含むことを特徴とする顔面動き情報符号化装置。
IPC (2)：
FI (2)：
H04N 7/13 Z
, G06F 15/62 380
