参照ビデオオブジェクトセグメンテーションのための質問としての言語【JST・京大機械翻訳】

Wu Jiannan; Jiang Yi; Sun Peize; Yuan Zehuan; Luo Ping

プレプリント

J-GLOBAL ID：202202208142807631 整理番号：22P0022724

参照ビデオオブジェクトセグメンテーションのための質問としての言語【JST・京大機械翻訳】

Language as Queries for Referring Video Object Segmentation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年01月03日プレプリントサーバーでの情報更新日： 2022年03月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ビデオオブジェクトセグメンテーション(R-VOS)は,すべてのビデオフレームにおける言語表現によって参照される目標オブジェクトを分割することを目的とする,新しいクロスモーダルタスクである。本研究では,ReferFormerと呼ばれる変換器上に構築された簡単で統一されたフレームワークを提案した。それは,質問として言語を展望して,ビデオフレームにおける最も関連した領域に直接意図する。具体的には,変換者への入力として言語に条件付けされたオブジェクトクエリの小さい集合を導入した。この方法で,すべてのクエリは,参照オブジェクトだけを見つけるのに偏った。それらは最終的に重要なオブジェクトレベル情報を捉える動的カーネルに変換され,特徴マップからセグメンテーションマスクを生成する畳込みフィルタの役割を演ずる。物体追跡は,フレームを通して対応するクエリをリンクすることによって自然に達成される。この機構はパイプラインを大きく単純化し,エンドツーエンドフレームワークは以前の方法とは著しく異なる。Ref-Youtube-VOS,Ref-DAVIS17,A2D-SentencesおよびJHMDB-Sentencesに関する大規模な実験は,ReferFormerの有効性を示した。Ref-Youtube-VOS上で,Refer-Formerは,ベルと wのないResNet-50バックボーンで55.6J&Fを達成し,それは以前の最先端の性能を8.4ポイント超えた。加えて,強いSwin-Largeeバックボーンで,ReferFormerは,すべての既存の方法の中で64.2の最良J&Fを達成した。さらに,A2D-SentencesとJHMDB-Sentencesに対する55.0mAPと43.7mAPの印象的な結果を示し,それは大きなマージンによって以前の方法より著しく優れている。コードはhttps://github.com/wjn922/ReferFormerで公開されている。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

, , ,

前のページに戻る