視覚的バックボーンへのより注意のシフト:エンドツーエンド視覚接地のためのクエリー変調精密化ネットワーク【JST・京大機械翻訳】

Ye Jiabo; Tian Junfeng; Yan Ming; Yang Xiaoshan; Wang Xuwu; Zhang Ji; He Liang; Lin Xin

プレプリント

J-GLOBAL ID：202202221104947647 整理番号：22P0312092

視覚的バックボーンへのより注意のシフト:エンドツーエンド視覚接地のためのクエリー変調精密化ネットワーク【JST・京大機械翻訳】

Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月29日プレプリントサーバーでの情報更新日： 2022年03月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

視覚接地は,マルチモーダル推論システムにおいて不可欠なアプリケーションを持つ,視覚と自然言語の間の細粒アラインメントを確立することに焦点を合わせる。既存の方法は,質問情報を考慮することなく,視覚的特徴マップを抽出するために事前訓練されたクエリー診断視覚バックボーンを使用する。視覚バックボーンから抽出した視覚特徴およびマルチモーダル推論に必要な特徴が矛盾しないことを論じた。1つの理由は,予訓練タスクと視覚接地の間に差異があるということである。さらに,バックボーンがクエリー診断であるので,視覚接地フレームワークにおける視覚バックボーンエンドツーエンドを訓練することにより,不整合問題を完全に回避することは困難である。本論文では,新しいQuery認識動的注意(QD-ATT)機構およびクエリ意識マルチスケール融合を用いて,視覚バックボーンにおける中間特徴を調節することにより,矛盾する問題に対処するため,Query変調精密化ネットワーク(QRNet)を提案した。QD-ATTは,視覚バックボーンにより生成された特徴マップの空間およびチャネルレベルで,クエリ依存視覚注意を動的に計算できる。QRNetをエンドツーエンド視覚接地フレームワークに適用した。大規模な実験は,提案方法が5つの広く使われているデータセットに関して最先端の方法より優れていることを示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

計算機網

, , , , , , , ,

前のページに戻る