特許
J-GLOBAL ID：200903079504483232
口形状画像合成方法及び装置
発明者：
,
,
出願人/特許権者：
代理人 (1件)：
山本 恵一
公報種別：公開公報
出願番号（国際出願番号）：特願平4-218719
公開番号（公開出願番号）：特開平6-052290
出願日： 1992年07月27日
公開日（公表日）： 1994年02月25日
要約：
【要約】【目的】 1つの映像信号に対して、複数の言語による音声が付与される場合、各言語での音声に対応する様に、登場人物の口形状を修正することを可能とする。【構成】 画面中の人物頭部の3次元的な動きを、3次元的動き検出部1で検出する。一方、付与すべき音声を構成する音素列及び各音素の持続時間に基づき、口形状パラメータ生成部2で、フレーム毎の口形状パラメータを生成する。これらの結果を用いて、座標修正部3で人物頭部の3次元形状モデルの向き・位置及び口周辺部の形状を修正する。得られた形状モデルの口及び口周辺部にテクスチャマッピング部4で明るさ・色の情報を与え、更に、合成部5でこの結果を原画像中の口及び口周辺部の画像と置き換える。以上により、異なる言語による音声を付与した場合にも、この音声に対応した口形状を有する自然な顔動画像が出力されることを特徴とする。
請求項（抜粋）：
テレビカメラやビデオテープレコーダ等から得られる映像信号をディジタル化したディジタル動画像信号を原画像とし、また、映像信号に付与されていた原音声を異なる言語に翻訳した翻訳音声を音素列に分解した時の各音素の種別と持続時間の情報を音声に関する入力とし、画像中の人物の頭部形状を表現する3次元形状モデルと原画像とから人物頭部の3次元的な動きを検出し、一方、音素と持続時間の情報とから翻訳音声に対応したフレーム単位での口形状パラメータを生成し、頭部の3次元形状モデルの口及び口周辺部について口形状パラメータで指定された形状となる様に座標を修正し、更に口部分を含めた頭部全体について頭部の3次元的な動きパラメータに従って3次元的な動きを表現する様に座標を修正し、次に、座標修正後の3次元形状モデルの口及び口周辺部に、予め得られている人物の口及び口周辺部のテクスチャ情報を付与し、更に、この結果新たに得られる口及び口周辺部の画像によって原画像中の人物の口及び口周辺部の画像を置き換え、翻訳音声と対応した口形状変化を有する自然な画像を合成することを特徴とする口形状画像合成方法。
IPC (2件)：
G06F 15/62 350
, G06F 15/38
