トラックレット問合せと提案による効率的なビデオインスタンスセグメンテーション【JST・京大機械翻訳】

Wu Jialian; Yarram Sudhir; Liang Hui; Lan Tian; Yuan Junsong; Eledath Jayan; Medioni Gerard

プレプリント

J-GLOBAL ID：202202209238987211 整理番号：22P0298503

トラックレット問合せと提案による効率的なビデオインスタンスセグメンテーション【JST・京大機械翻訳】

Efficient Video Instance Segmentation via Tracklet Query and Proposal

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月03日プレプリントサーバーでの情報更新日： 2022年03月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ビデオインスタンスセグメンテーション(VIS)は,ビデオにおける複数のオブジェクトインスタンスを同時に分類,セグメンテーション,追跡することを目的とする。最近のクリップレベルVISは,フレームレベルVIS(トラッキングバイセグメンテーション)よりも強い性能を示す入力として短いビデオクリップを取り上げ,複数のフレームからのより時間的なコンテキストを利用する。しかし,ほとんどのクリップレベル法は,エンドツーエンドの学習可能もリアルタイムでもない。これらの限界は,クリップ内のVISエンドツーエンドを実行する最近のVIS変圧器(VisTR)によって対処される。しかし,VisTRは,そのフレームごとの密な注意により長い訓練時間を受ける。さらに,VisTRは,連続クリップ間のインスタンストラックレットをリンクする手作業データ連想を必要とするので,複数のビデオクリップにおいて完全にエンドツーエンド学習可能ではない。本論文では,効率的な訓練と推論を持つ完全エンドツーエンドフレームワークである効率的なVISを提案した。コアでは,反復クエリ-ビデオ相互作用によって,空間と時間を通して,関心領域(RoIs)を連想し,分割するトラックレットクエリとトラックレットを提案する。さらに,クリップエンドツーエンド学習可能間のトラッキングレットをリンクする対応学習を提案した。VisTRと比較して,効率的なVISは,YouTube-VISベンチマークで最先端の精度を達成しながら,15x少ない訓練期間を必要とする。一方,提案手法では,全ビデオインスタンスセグメンテーションを,データ連想なしに単一エンドツーエンドパスで可能にする。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

前のページに戻る