文献

J-GLOBAL ID：202002219013755555   整理番号：20A2638138

Song2Face:オーディオからの歌顔アニメーションの合成【JST・京大機械翻訳】

Song2Face: Synthesizing Singing Facial Animation from Audio

著者 (5件)： Iwase Shohei (Waseda University) ,  Kato Takuya (ExaWizards Inc. Waseda University) ,  Yamaguchi Shugo (Waseda University) ,  Yukitaka Tsuchiya (Waseda University) ,  Morishima Shigeo (Waseda Research Institute for Science and Engineering)
資料名： ACM Proceedings  (ACM Proceedings)
号： SA ’20  ページ： 1-4  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： Song2Face,歌声とsingerラベルの入力から顔アニメーションを生成することができる深いニューラルネットワークを提示した。ネットワークアーキテクチャは,異なる個体間で変化する場合,顔表情が異なる個人間で変化するが,音声はピッチ,呼気,およびビブラトのような貴重な情報を記憶し,その表現が起因するかもしれないという洞察で構築される。したがって,著者らのネットワークは,オーディオから関連する音声特徴を抽出する符号器と,顔アニメーションのための制御パラメータを予測するsingerラベルに条件付けされた回帰ネットワークから成る。テキストレベル特徴に最初にオーディオを写像する事前のオーディオ駆動音声アニメーション法とは対照的に,音声特徴が明示的制約なしに歌声から直接的に学習できることを示した。著者らのネットワークは,顔のすべての部分と頭部自体の回転運動のために運動を生産できる。さらに,異なる話者間の表現におけるスタイル的差異を,singerラベルを介して捉え,その結果,得られたアニメーション歌を,試験時間で操作することができた。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ネットワーク ,  ニューラルネットワーク ,  符号器 ,  *オーディオ機器 ,  呼気 ,  *アニメーション ,  機械学習 ,  ネットワークアーキテクチャ
準シソーラス用語： 歌声 ,  音声特徴 , 【Automatic Indexing@JST】

著者キーワード (3件)： 顔アニメーション ,  機械学習 ,  歌唱

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  音声処理  (JE05000E)

タイトルに関連する用語 (3件)： オーディオ ,  歌 ,  アニメーション