文献

J-GLOBAL ID：201402228820268620   整理番号：14A1239130

視覚素依存フィルタによる漸次的音声駆動発話アニメーション

著者 (1件)： 川本真一 (北陸先端科学技術大学院大)
資料名： 電子情報通信学会論文誌 D(Web)
巻： J97-D  号： 9  ページ： 1416-1425 (WEB ONLY)  発行年： 2014年09月01日 
JST資料番号： U0473A  ISSN： 1881-0225  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,口唇の動く速度を考慮したフィルタと漸次的視覚素認識による音声駆動発話アニメーション手法を提案する。本手法ではCG制作において広く用いられるブレンドシェープ法(形状の線形和モデル)によるアニメーションを想定して設計された基本口形状(視覚素;Viseme)を有する任意のキャラクタデータに対して適用でき,視覚素認識系とキャラクタ表示系の処理の依存を少なくするように設計した。入力として音声を使用し,言語的な制約を考慮しながら漸次的に視覚素認識を行うことで,低遅延で発話アニメーション出力を実現した。キャラクタごとの視覚素のデザインが異なることによる影響を抑制するため,口唇の動く速度を考慮した視覚素依存フィルタの設計法を提案し,発話アニメーションでの不自然さを生じる急激な口唇の動きの抑制や,キャラクタに合わせた動きのカスタマイズを実現した。以上のアニメーション手法を含むシステムを実装し,利用者の発話に対し約300msの遅延にて発話アニメーションを実現し,同時に入力音声の出力を同程度遅延させることで,出力音声と同期のとれた発話アニメーションを実現できることを確認した。(著者抄録)

シソーラス用語： 駆動 ,  *発話 ,  *コンピュータアニメーション ,  視覚 ,  口唇 ,  速度 ,  空間フィルタ ,  音声処理 ,  遅れ ,  パターン認識 ,  正規化 ,  口 ,  フィルタ設計
準シソーラス用語： 運動速度

分類 (1件)： 図形・画像処理一般  (JE04010I)

引用文献 (21件)：

• Y. Fukuda and S. Hiki, “Characteristics of the mouth shape in the production of japanese: Stroboscopic observation,” J. Acoust. Soc. Japan (E), vol.3, no.2, pp.75-91, 1982.
• S. Morishima and H. Harashima, “A media conversion from speech to facial image for intelligent manmachine interface,” IEEE J. Sel. Areas. Commun., vol.9, no.4, pp.594-600, 1991.
• F. Lavagetto, “Converting speech into lip movements: a multimedia telephone for hard of hearing people,” IEEE Trans. Rehabil. Eng., vol.3, no.1, pp.90-102, 1995.
• S. Morishima and T. Yotsukura, “Face-to-face communicative avatar driven by voice,” Proc. 1999 International Conference on Image Processing (ICIP 99), vol.3, pp.11-15, 1999.
• R.R. Rao and T. Chen, “Cross-modal prediction in audio-visual communication,” Proc. ICASSP, vol.4, pp.2056-2059, 1996.

タイトルに関連する用語 (4件)： 視覚 ,  音声 ,  発話 ,  アニメーション