文献

J-GLOBAL ID：202102270696611057   整理番号：21A1488911

StyleGANに基づく顔動作の感情変換

Deep Facial Expression Transfer: StyleGAN-based Facial Motion Transfer

著者 (2件)： 竹内至生 (京大) ,  中澤篤志 (京大)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 120  号： 389(IMQ2020 10-35)  ページ： 76-81 (WEB ONLY)  発行年： 2021年02月22日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 人が話すとき,表情は話者の印象を大きく左右する.また,動画投稿サイトやオンデマンド講義など画像が人のコミュニケーションに関与する割合はより多くなっているため,表情を変換することには応用的な価値がある.顔動作の感情変換に当たっては,発話内容は変換の前後で変わらないことが望まれる.このような,意味的な内容を保存しつつスタイルを変換する技術は「スタイル変換」と呼ばれ,画像分野において特に研究が進んでいる.スタイル変換技術は近年の深層学習の発展に伴って進歩を遂げているが,表情の感情変換については静止画を対象とする研究がほとんどである.しかし,人の表情は顔動作の中に強く現れるため,時系列データを扱うことの実用的価値は大きい.そこで,本研究では顔動作の感情変換を目的とする.スタイルを扱う技術のうち,StyleGANと呼ばれる手法では,スタイルを連続パラメータ空間上の点として埋め込み,そのパラメータを元にスタイルの制御を実現した.本研究ではこの枠組みを利用し,顔動作の感情変換手法を提案する.入出力データとしては顔特徴点群を用い,データの低ランク性を考慮して次元圧縮を取り入れる.(著者抄録)

シソーラス用語： *顔画像 ,  *画像変換 ,  *感情 ,  人工知能 ,  主成分分析 ,  次元縮小 ,  損失関数 ,  逆伝搬法 ,  発話 ,  動画像
準シソーラス用語： 敵対的生成ネットワーク

分類 (1件)： 図形・画像処理一般  (JE04010I)

引用文献 (18件)：

• T. Karras, S. Laine, and T. Aila, “A style-based generator architecture for generative adversarial networks,” Proceedings of the IEEE conference on computer vision and pattern recognition, pp.4401-4410, 2019.
• P. Ekman, “Facial expression and emotion.,” American psychologist, vol.48, no.4, p.384, 1993.
• R. Ekman, What the face reveals: Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS), Oxford University Press, USA, 1997.
• H. Ding, K. Sricharan, and R. Chellappa, “Exprgan: Facial expression editing with controllable expression intensity,” arXiv preprint arXiv:1709.03842, pp.●●-●●, 2017.
• C. Yang and S.-N. Lim, “Unconstrained facial expression transfer using style-based generator,” arXiv preprint arXiv:1912.06253, pp.●●-●●, 2019.

タイトルに関連する用語 (2件)： 顔 ,  感情