AimusicGuru:音楽支援人間姿勢補正【JST・京大機械翻訳】

Shrestha Snehesh; Fermueller Cornelia; Huang Tianyu; Win Pyone Thant; Zukerman Adam; Parameshwara Chethan M.; Aloimonos Yiannis

プレプリント

J-GLOBAL ID：202202200627338884 整理番号：22P0309479

AimusicGuru:音楽支援人間姿勢補正【JST・京大機械翻訳】

AIMusicGuru: Music Assisted Human Pose Correction

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月23日プレプリントサーバーでの情報更新日： 2022年03月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ポース推定技術は,ピクセルの形で表現された観察を通して利用可能な視覚キューに依存する。しかし,性能は,ビデオのフレームレートと動きぼけ,オクルージョン,および時間的コヒーレンスからのスラグルによって制限される。この問題は,人々がオブジェクトや機器と相互作用する場合,例えばビオリンを演ずる場合に拡大される。後処理のための標準手法は,雑音とフィルギャップをフィルタするのに補間と平滑化関数を使用するが,それらは高度に非線形運動をモデル化できない。生成された音とそれらを生成する運動の間の因果関係の高い度合いの理解を利用する方法を提示する。正確な人体姿勢運動モデルを精密化し予測するために,オーディオ署名を用いた。スパース入力姿勢シーケンスから微細粒運動モデルを生成するため,連続オーディオのMAPnet(Music Assised Pose Setwork)を提案する。このドメインにおけるさらなる研究を加速するために,音楽による3Dビオリン遊び運動の新しいマルチモーダルデータセットであるMAPdatをオープンソースした。異なる標準機械学習モデルの比較を行い,入力様式,サンプリング技術,およびオーディオおよび運動特徴に関する解析を行った。MAPdatに関する実験は,以前に視覚手法でアプローチされたタスクに対する有望な方向として,マルチモーダルアプローチを示唆する。結果は,どのような姿勢推定方法の改善を助けるために,オーディオが視覚観察と組み合わせることができるかを定性的および定量的に示す。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

, , ,

前のページに戻る