Explor-And-Match:ビデオにおける文章接地のための変圧器による提案ベースおよび提案フリーのブリッジング【JST・京大機械翻訳】

Woo Sangmin; Park Jinyoung; Koo Inyong; Lee Sumin; Jeong Minki; Kim Changick

プレプリント

J-GLOBAL ID：202202208552329672 整理番号：22P0279328

Explor-And-Match:ビデオにおける文章接地のための変圧器による提案ベースおよび提案フリーのブリッジング【JST・京大機械翻訳】

Explore-And-Match: Bridging Proposal-Based and Proposal-Free With Transformer for Sentence Grounding in Videos

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年01月25日プレプリントサーバーでの情報更新日： 2022年08月04日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語ビデオ接地(NLVG)は,文章クエリに従って,非トリミングビデオの時間セグメントを局所化することを目的とする。本研究では,NLVG法の2つのストリームの強さをシームレスに統一するNLVGのためのExplore-And-Matchと名付けた新しいパラダイムを提示した:提案フリーおよび提案ベース;前者は時間セグメントを直接見つける探索空間を探索し,後者はグランドトルースと予め定義された時間セグメントと一致する。これを達成するために,NLVGを集合予測問題として定式化し,2つの好ましい特性を楽しむことができるエンドツーエンド訓練可能言語ビデオ変換器(LVTR)を設計し,それは豊富な文脈化電力と並列復号化である。2つの損失でLVTRを訓練した。第1に,時間的局在化損失は,すべてのクエリの時間セグメントを回帰目標(探索)に許す。第2に,セット誘導損失は,それぞれの目標(マッチ)によってあらゆる問い合わせを結合した。驚いたことに,訓練スケジュールが分割統治のようなパターンを示すことを見出した:時間セグメントはターゲットに関係なく最初に多様化し,次に各ターゲットと結合して,再びターゲットに微調整した。さらに,LVTRは,非常に効率的で効果的である:それは,以前のベースライン(2X以上)よりも速く推論し,2つのNLVGベンチマーク(ActivityCaptionとCharades-STA)に関する競合結果を設定する。コードはhttps://github.com/sangminwoo/Explore And Matchで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般

, , , , ,

前のページに戻る