文献

J-GLOBAL ID：202002280698759556   整理番号：20A0575310

テキストとオーディオからの会話顔の合成:自動エンコーダとシーケンスからシーケンスへの畳込みニューラルネットワーク【JST・京大機械翻訳】

Synthesizing Talking Faces from Text and Audio: An Autoencoder and Sequence-to-Sequence Convolutional Neural Network

著者 (5件)： Liu Na (Institute of Machine Intelligence, University of Shanghai for Science and Technology, Shanghai, China) ,  Zhou Tao (Inception Institute of Artificial Intelligence, Abu Dhabi, United Arab Emirates) ,  Ji Yunfeng (Institute of Machine Intelligence, University of Shanghai for Science and Technology, Shanghai, China) ,  Zhao Ziyi (Institute of Image Processing and Pattern Recognition, Department of Automation, Shanghai Jiao Tong University, China) ,  Wan Lihong (Netease Inc., Hangzhou, China)
資料名： Pattern Recognition  (Pattern Recognition)
巻： 102  ページ： Null  発行年： 2020年 
JST資料番号： D0611A  ISSN： 0031-3203  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： テキストとオーディオからの話す顔の合成は,人間機械と対面の相互作用においてますます方向になっている。進歩は行われているが,いくつかの既存の方法は,隣接入力間の非満足な共調音モデリング効果または無視関係を持っている。さらに,これらの方法のいくつかは,しばしば,共有ヘッドビデオに関するモデルを訓練するか,線形ベースの顔パラメタリゼーション戦略を利用することができる。それは,合成品質をさらに低下させる。上記の問題を扱うために,本研究では,正確なリップ同期により,自動的に話す顔ビデオを合成するために,シーケンスからシーケンスへの畳込みニューラルネットワークを提案した。最初に,先進的ランドマーク位置パイプラインを用いて,顔のランドマークを正確に位置決めして,それは効果的にランドマーク振盪を減少させることができた。次に,顔画像を低次元空間に符号化し,コンパクトな表現を得るために,部分ベース自動符号器を提示した。シーケンスからシーケンスへのネットワークも提示し,多重損失関数を持つ隣接フレームの関係を符号化し,復号器を用いた再構成戦略により顔を合成した。2つの公共オーディオビジュアルデータセットとCCTVニュースと呼ばれる新しいデータセットに関する実験は,他の最先端の方法に対する提案方法の有効性を実証した。Copyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 復号器 ,  調音 ,  損失関数 ,  ニュース ,  *符号器 ,  相互作用 ,  *ネットワーク ,  顔画像 ,  品質 ,  パラメタリゼーション ,  多重化 ,  *オーディオ機器 ,  録画装置 ,  再構成 ,  会話

著者キーワード (8件)： 畳み込みニューラルネットワーク ,  自動エンコーダ ,  回帰 ,  顔のランドマーク ,  顔追跡 ,  LIP SYNC ,  ビデオ ,  オーディオ

分類 (2件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： オーディオ ,  会話 ,  エンコーダ ,  シーケンス ,  畳込みニューラルネットワーク