文献

J-GLOBAL ID：202002273870656357   整理番号：20A1071197

人物の自己遮蔽を考慮した少量の静止画像列からの動作クローン映像生成

Generating Video of Cloned Motion from a Short Sequence of Still Images Considering Self-Occlusion of Human Body

著者 (5件)： 堤哲平 (大阪大 大学院工学研究科) ,  中村和晃 (大阪大 大学院工学研究科) ,  明神聖子 (大阪大 大学院工学研究科) ,  新田直子 (大阪大 大学院工学研究科) ,  馬場口登 (大阪大 大学院工学研究科)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 119  号： 454(IMQ2019 13-68)  ページ： 221-226  発行年： 2020年02月27日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本稿では,ある人物Aの動作映像(リファレンス映像)1本と,別の人物Bの静止画像(ターゲット画像)少数枚のみを入力として,人物Aの動作をあたかも人物Bが再現しているかのような映像(動作クローン映像)を生成する手法を提案する.単一のターゲット画像を変形することで動作クローン映像を生成する従来手法では,自己遮蔽が生じる動作はうまく再現できず,また,回転を伴う動作など,元々のターゲット画像に写っていない部位のテクスチャを生成する必要があるケースには原理的に対処できない,という問題がある.提案手法では,人物の身体を複数の部位に分け,部位ごとに異なる2次元アフィン変換を用いてターゲット画像を変形することにより,自己遮蔽の問題に対処する.また,回転等を伴う動作に対しては,複数枚のターゲット画像から個別に生成した動作クローン映像を畳込みニューラルネットワークにより統合することで対処する.実験の結果,提案手法により,自己遮蔽を伴う動作と回転を伴う動作の双方に対して,ある程度の品質で動作クローン映像を生成できることを確認した.(著者抄録)

シソーラス用語： *静止画像 ,  動作 ,  *製造 ,  身体部位 ,  アフィン変換 ,  ニューラルネットワーク ,  *画像処理 ,  クローン
準シソーラス用語： 身体動作 ,  *映像制作 ,  畳込みニューラルネットワーク ,  *画像統合 ,  人物の動作

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  ニューロコンピュータ  (JC06010Q)

引用文献 (9件)：

• I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio: ′′Generative Adversarial Nets, ′′Advances in Neural Information Processing Systems, Vol.27, pp.2672-2680, 2014.
• C. Chan, S, Ginosar, T. Zhou, and A. A. Efros: ′′Everybody Dance Now,′′ arXiv:1808.07371, 2018.
• S. Tulyakov, M.-Y. Liu, X. Yang, and J. Kautz: ′′MoCo-GAN: Decomposing Motion and Content for Video Generation,′′ in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.1526-1535, 2018.
• Z. Cao, T. Simon, S. EnWei, and Y. Sheikh: ′′Realtime Multi-Person 2D Human Pose Estimation Using Part Affinity Fields,′′ in Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.1302-1310, 2017.
• J. P. Lewis, M. Cordner, and N. Fong: ′′Pose Space Deformation: A Unified Approach to Shape Interpolation and Skeleton-Driven Deformation′′ in Proc. of the 27th Annual Conf. on Computer Graphics and Interactive Techniques, pp.165-172, 2000.

タイトルに関連する用語 (6件)： 人物 ,  自己遮蔽 ,  静止 ,  画像列 ,  クローン ,  映像