ビデオおよび言語接地のためのマルチレベルアラインメントトレーニング方式【JST・京大機械翻訳】

Zhang Yubo; Niu Feiyang; Ping Qing; Thattai Govind

プレプリント

J-GLOBAL ID：202202204257343218 整理番号：22P0337149

ビデオおよび言語接地のためのマルチレベルアラインメントトレーニング方式【JST・京大機械翻訳】

A Multi-level Alignment Training Scheme for Video-and-Language Grounding

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月22日プレプリントサーバーでの情報更新日： 2023年02月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

ビデオと言語の接地タスクを解決するため,鍵は2つのモダリティ間の接続を理解するためのネットワークである。一対のビデオと言語記述のために,それらの意味関係はそれらの符号化の類似性によって反映される。良好なマルチモダリティ符号器は,入力の意味論を良好に捉えることができ,埋込み距離がそれらの意味類似性に適切に変換される共有特徴空間でそれらを符号化するべきである。本研究では,ビデオと言語の間のこの意味的接続に焦点を当て,符号化プロセスを直接形状化するマルチレベルアラインメント訓練方式を開発した。ビデオ言語アラインメントペアの大域的およびセグメントレベルを,高レベルコンテキストから細粒意味論までの情報類似性に基づいて設計した。コントラスト損失を用いて,正と負のアラインメント対の間の符号化の類似性を対比し,ネットワークを共有特徴空間で密接に符号化するような方法で訓練し,一方,異なる意味論の情報を離れて維持する。このマルチレベルアラインメント訓練は,様々なビデオと言語の接地タスクに適用できる。タスク特有の訓練損失と共に,著者らのフレームワークは,複数のビデオQAと検索データセットに関する以前の最先端技術に匹敵する性能を達成した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

図形・画像処理一般 , 自然語処理 , パターン認識 , 人工知能 , 人間機械系

, ,

前のページに戻る