文献

J-GLOBAL ID：201802244649833226   整理番号：18A0137261

視覚質問応答のためのCo注意学習を用いたマルチモーダル因数分解双線形プーリング【Powered by NICT】

Multi-modal Factorized Bilinear Pooling with Co-attention Learning for Visual Question Answering

著者 (4件)： Yu Zhou ,  Yu Jun ,  Fan Jianping ,  Tao Dacheng
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ICCV  ページ： 1839-1848  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 画像のビジュアルコンテンツと疑問のテキストコンテンツの両方の同時理解を必要とするので,視覚質問応答(VQA)は挑戦的である。細粒方法と疑問の画像と疑問を表現し,これらの多様な特徴を融合するために使用される方法は性能において重要な役割を果たしている。双線形プーリングベースモデルは,VQAのための伝統的な線形モデルより性能が優れていることが示されているが,それらの高次元表現と高い計算複雑性は実際にそれらの適用性を著しく制約している可能性がある。マルチモーダル特徴融合のために,ここでは,マルチモーダル特徴,他の双線形プーリング手法と比較してVQAの優れた性能をもたらすを効率的かつ効果的にマルチモーダル因数分解双線形(MFB)プール法を開発した。細粒画像と質問表現のために,筆者らは協同で,画像と質問の留意点の両方を学習するためにエンドツーエンド深いネットワークアーキテクチャを用いた「Co注意」機構を開発した。提案MFB手法の組合わせ新しいネットワークアーキテクチャにおけるCo注意学習を用いたVQAの統一モデルを提供する。著者らの実験結果は,共注意モデルを持つ単一MFBは実世界VQAデータセットに新しい状態のtheart性能を達成することを示した。コードhttps://github.com/yuzcccc/mfbで利用可能である。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： *視覚 ,  計算量 ,  高次元 ,  *学習 ,  *多モード ,  *因数分解 ,  ネットワークアーキテクチャ ,  統一模型 ,  *線形性 ,  画像 ,  適応性 ,  エンドツーエンド方式
準シソーラス用語： 特徴融合 ,  線形モデル , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (8件)： 視覚 ,  質問応答 ,  CO ,  注意 ,  学習 ,  マルチモーダル ,  因数分解 ,  線形