一般化ニューラル・パーフォーマ:人間新規ビュー合成のためのロバストな放射場の学習【JST・京大機械翻訳】

Cheng Wei; Xu Su; Piao Jingtan; Qian Chen; Wu Wayne; Lin Kwan-Yee; Li Hongsheng

プレプリント

J-GLOBAL ID：202202202177696400 整理番号：22P0338009

一般化ニューラル・パーフォーマ:人間新規ビュー合成のためのロバストな放射場の学習【JST・京大機械翻訳】

Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年04月25日プレプリントサーバーでの情報更新日： 2022年04月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本研究では,任意の人間の実行者の自由視点画像を合成する一般的な深層学習フレームワークを用いて,入力としてカメラビューのスパース数のみを必要とし,ケースごとの微調整をスキリングする。関節体姿勢,形状および衣類タイプによって引き起こされる形状および外観の大きな変化は,この作業の重要なボトルネックである。これらの課題を克服するために,一般的でロバストな神経体表現を,様々な幾何学と外観で学習する,一般化可能ニューラルパーフォーマ(GNR)と名付けた,単純だが強力なフレームワークを提案した。特に,著者らは,幾何学的および外見的側面の両方から条件付き陰的神経放射輝度場として,新しい視点人間レンダリングのための光場を圧縮した。最初に,パラメトリック3D人体モデルとマルチビュー画像ヒントの両方に基づくロバスト性を強化するために,陰的幾何学的ボディ埋込み戦略を導入した。さらに,緩和だが近似的な幾何学的誘導を持つ放射輝度場へのソースビューの外観を補間することにより,高品質な外観を保存するためのスクリーン-空間オクルージョン-アウェアアプリアンス混合技術を提案した。提案手法を評価するために,顕著な複雑性と多様性を持つデータセットを構築する進行中の努力を示した。データセットGeneBody-1.0は,多視点カメラ捕獲の下で370人の被験者の360Mフレームを含み,多様な身体形状,衣服,アクセサリーおよびヘアドと共に,多様な姿勢行動を遂行する。GeneBody-1.0とZJU-Mocapに関する実験は,すべてのクロスデータセット,非セエンス被験者,および不調な姿勢設定の間の最近の最先端の一般化可能な方法よりも,著者らの方法のより良いロバスト性を示した。また,著者らのモデルの競争力を,切削エッジケース固有のものと比較する。データセット,コードおよびモデルは,公的に利用できる。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

, , , ,

前のページに戻る