DFA-NeRF:非もつれ顔属性ニューラルレンダリングによる個人化話頭生成【JST・京大機械翻訳】

Yao Shunyu; Zhong RuiZhe; Yan Yichao; Zhai Guangtao; Yang Xiaokang

プレプリント

J-GLOBAL ID：202202212099741181 整理番号：22P0023028

DFA-NeRF:非もつれ顔属性ニューラルレンダリングによる個人化話頭生成【JST・京大機械翻訳】

DFA-NeRF: Personalized Talking Head Generation via Disentangled Face Attributes Neural Rendering

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年01月03日プレプリントサーバーでの情報更新日： 2022年01月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層ニューラルネットワークの最近の進歩は,高品質画像をレンダリングすることを可能にしたが,光現実的で個人化された会話ヘッドを生成することは困難なままである。与えられたオーディオにより,このタスクに取り組む鍵は,口唇運動を同期させ,同時に頭部運動や眼瞬のような個人化属性を生成することである。本研究では,入力オーディオは口唇運動と高度に相関するが,他の個人化属性(例えば頭部運動)とは相関しないことを観察した。これに触発されて,著者らは,高忠実度と個別化会話ヘッド生成を追求するために,神経放射輝度場に基づく新しいフレームワークを提案した。特に,神経放射輝度場は,口唇運動の特徴と個人化属性を2つのもつれ条件として,口唇運動をオーディオ入力から直接予測し,口唇同期生成を達成した。一方,個人化属性を確率モデルからサンプリングし,ここでは,Gauss過程からサンプリングした変換器ベース変分自動符号化器を設計し,妥当で自然な頭部姿勢と眼瞬目を学習した。いくつかのベンチマークに関する実験は,著者らの方法が最先端の方法より著しく良い結果を達成することを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般

, ,

前のページに戻る