VQAにおける視覚ボトルネックの実験研究【JST・京大機械翻訳】

Marza Pierre; Kervadec Corentin; Antipov Grigory; Baccouche Moez; Wolf Christian

プレプリント

J-GLOBAL ID：202202210899586661 整理番号：22P0289470

VQAにおける視覚ボトルネックの実験研究【JST・京大機械翻訳】

An experimental study of the vision-bottleneck in VQA

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年02月14日プレプリントサーバーでの情報更新日： 2022年02月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

視覚と言語を組み合わせた多くのタスクにおいて,両モダリティはVisual Quession Answering(VQA)において重要な役割を担っている。タスクを適切に解決するために,与えられたモデルは,提案した画像の内容と質問の性質の両方を理解するべきである。問題の重要な部分であるモダリティ間の融合は,高度に研究されているが,視覚部分は最近の研究であまり注目されていない。VQAに対する最新の最先端手法は,主に,オブジェクト結合ボックスと埋込みのセットを配信する,オフ-シェルオブジェクト検出器に依存し,次に,推論モジュールを通して質問単語埋込みと組み合わせた。本論文では,VQAにおける視覚-ボトルネックの徹底的研究を提案し,画像から抽出した視覚オブジェクトの量と質の両方を用いて実験を行った。また,質問に答えるのに必要なオブジェクトに関する情報,推論モジュール,およびオブジェクト選択段階における以前の情報を組み込むための2つの方法の影響を研究した。本研究は,VQAの文脈におけるビジョンの重要性,および手作業に対するVQAで使用される視覚法の調整の重要性を強調する。【JST・京大機械翻訳】

, , , , , ,
, , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

, , ,

前のページに戻る