文献

J-GLOBAL ID：202202220899025537   整理番号：22A0789125

文字GAN:少数ショットキーポイントキャラクタアニメーションと再配置【JST・京大機械翻訳】

CharacterGAN: Few-Shot Keypoint Character Animation and Reposing

著者 (5件)： Hinz Tobias (University of Hamburg) ,  Fisher Matthew (Adobe Research) ,  Wang Oliver (Adobe Research) ,  Shechtman Eli (Adobe Research) ,  Wermter Stefan (University of Hamburg)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2022  号： WACV  ページ： 3183-3192  発行年： 2022年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 与えられた文字の少数のサンプル(8-15)のみに訓練できる生成モデルであるCharacterGANを導入した。著者らのモデルはキーポイント位置に基づく新しい姿勢を生成し,それは対話型フィードバックを提供しながら実時間で修正でき,直感的な再配置とアニメーションを可能にする。非常に限られた訓練サンプルのみを持つので,重要な課題の一つは,例えば,手が身体の前または前に移動する場合,(dis)オクルージョンに対処する方法にある。これに対処するために,入力キーポイントを独立に処理する異なる層へ明示的に分割する新しい層化アプローチを導入した。これらの層は特性の異なる部分を表し,強い(dis)オクルージョンでも現実的な結果を得るのに役立つ強い陰的バイアスを提供する。個々の層の特徴を組み合わせるために,全てのキーポイントに条件付けされた適応スケーリングアプローチを用いた。最後に,テスト時間において極端な分布外姿勢で生じる歪みアーチファクトを低減するためにマスク連結性制約を導入した。提案アプローチは,最近のベースラインよりも優れており,多様な特性に対して現実的なアニメーションを生成することを示した。また,このモデルが離散状態変化を扱うことができ,例えば,異なる層が,それらの層におけるそれぞれのキーポイントに特有な特徴を実際に学習する,そして,より多くのデータが利用できるとき,著者らのモデルスケールがより大きなデータセットに,実際に学習するということを示した。コードはhttps://github.com/tohinz/CharacterGANで利用可能である。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： バイアス ,  *アニメーション ,  成層 ,  基準線 ,  連結性 ,  アーチファクト ,  オクルージョン
準シソーラス用語： 対話型 ,  実時間 ,  生成モデル ,  *再配列 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： 文字 ,  GaN ,  再配置