SBAT:スパース境界を意識した変圧器によるビデオキャプション【JST・京大機械翻訳】

Jin Tao; Huang Siyu; Chen Ming; Li Yingming; Zhang Zhongfei

プレプリント

J-GLOBAL ID：202202207169670763 整理番号：22P0174293

SBAT:スパース境界を意識した変圧器によるビデオキャプション【JST・京大機械翻訳】

SBAT: Video Captioning with Sparse Boundary-Aware Transformer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年07月23日プレプリントサーバーでの情報更新日： 2020年07月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,効果的にビデオキャプテーションに変圧器構造を適用する問題に焦点を当てた。機械翻訳のような単峰性言語生成タスクのためにバニラ変圧器を提案した。しかし,ビデオキャプティングはマルチモーダル学習問題であり,ビデオ特徴は異なる時間ステップ間で多くの冗長性を持つ。これらの懸念に基づいて,ビデオ表現における冗長性を低減するために,スパース境界意識変圧器(SBAT)と呼ばれる新しい方法を提案した。SBATは,マルチヘッド注意からスコアのために境界意識プール操作を採用し,異なるシナリオから多様な特徴を選択する。また,SBATは局所相関スキームを含み,スパース操作によりもたらされる局所情報損失を補償する。SBATに基づいて,著者らはさらに,マルチモーダル相互作用を強化するための整列交差モード符号化方式を提案した。2つのベンチマークデータセットに関する実験結果は,SBATが大部分の計量の下で最先端の方法より優れていることを示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

, , , ,

前のページに戻る