Pat

J-GLOBAL ID：200903079504483232

口形状画像合成方法及び装置

Inventor： 金子 正秀 ,  小池 淳 ,  羽鳥 好律
Applicant, Patent owner： 国際電信電話株式会社
Agent (1)： 山本 恵一
Gazette classification：公開公報
Application number (International application number)：1992218719
Publication number (International publication number)：1994052290
Application date： Jul. 27, 1992
Publication date： Feb. 25, 1994
Summary：

【要約】【目的】 1つの映像信号に対して、複数の言語による音声が付与される場合、各言語での音声に対応する様に、登場人物の口形状を修正することを可能とする。【構成】 画面中の人物頭部の3次元的な動きを、3次元的動き検出部1で検出する。一方、付与すべき音声を構成する音素列及び各音素の持続時間に基づき、口形状パラメータ生成部2で、フレーム毎の口形状パラメータを生成する。これらの結果を用いて、座標修正部3で人物頭部の3次元形状モデルの向き・位置及び口周辺部の形状を修正する。得られた形状モデルの口及び口周辺部にテクスチャマッピング部4で明るさ・色の情報を与え、更に、合成部5でこの結果を原画像中の口及び口周辺部の画像と置き換える。以上により、異なる言語による音声を付与した場合にも、この音声に対応した口形状を有する自然な顔動画像が出力されることを特徴とする。

Claim (excerpt)：

テレビカメラやビデオテープレコーダ等から得られる映像信号をディジタル化したディジタル動画像信号を原画像とし、また、映像信号に付与されていた原音声を異なる言語に翻訳した翻訳音声を音素列に分解した時の各音素の種別と持続時間の情報を音声に関する入力とし、画像中の人物の頭部形状を表現する3次元形状モデルと原画像とから人物頭部の3次元的な動きを検出し、一方、音素と持続時間の情報とから翻訳音声に対応したフレーム単位での口形状パラメータを生成し、頭部の3次元形状モデルの口及び口周辺部について口形状パラメータで指定された形状となる様に座標を修正し、更に口部分を含めた頭部全体について頭部の3次元的な動きパラメータに従って3次元的な動きを表現する様に座標を修正し、次に、座標修正後の3次元形状モデルの口及び口周辺部に、予め得られている人物の口及び口周辺部のテクスチャ情報を付与し、更に、この結果新たに得られる口及び口周辺部の画像によって原画像中の人物の口及び口周辺部の画像を置き換え、翻訳音声と対応した口形状変化を有する自然な画像を合成することを特徴とする口形状画像合成方法。

IPC (2)：

G06F 15/62 350 ,  G06F 15/38