文献

J-GLOBAL ID：201802280118026957   整理番号：18A2163623

双線形を超えて:視覚質問応答のための一般化マルチモーダル因数分解高次プーリング【JST・京大機械翻訳】

Beyond Bilinear: Generalized Multimodal Factorized High-Order Pooling for Visual Question Answering

著者 (5件)： Yu Zhou (Key Laboratory of Complex Systems Modeling and Simulation, School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou, China) ,  Yu Jun (Key Laboratory of Complex Systems Modeling and Simulation, School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou, China) ,  Xiang Chenchao (Key Laboratory of Complex Systems Modeling and Simulation, School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou, China) ,  Fan Jianping (Department of Computer Science, University of North Carolina at Charlotte, Charlotte, NC, USA) ,  Tao Dacheng (UBTECH Sydney Artificial Intelligence Centre, Faculty of Engineering and Information Technologies, University of Sydney, Darlington, NSW, Australia)
資料名： IEEE Transactions on Neural Networks and Learning Systems  (IEEE Transactions on Neural Networks and Learning Systems)
巻： 29  号： 12  ページ： 5947-5959  発行年： 2018年 
JST資料番号： T0881A  ISSN： 2162-237X  CODEN： ITNNEP  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 視覚的質問応答(VQA)は,画像の視覚コンテンツと質問のテキストコンテンツの両方の同時理解を必要とするので,挑戦的である。VQAタスクを支援するために,次の3つの問題に対する良い解を見出す必要がある。1)画像と質問の両方に対する細粒特徴表現;2)多モード特徴間の複雑な相互作用を捉えることができる多モード特徴融合;そして,3)同じ質問に対する複数の多様な回答の間の複雑な相関を考慮することができる自動回答予測。細粒画像と質問表現のために,「共注意」機構を,画像と質問の両方に対する注意を共同的に学習するために,深いニューラルネットワーク(DNN)アーキテクチャを用いて開発し,画像と質問表現のためのより識別的な特徴を得た。多モード特徴融合のために,一般化多モード因子化高次プール法(MFH)を開発し,それらの相関を十分に利用することにより,より高速な収束速度を達成し,より優れた性能を得るために,DNNアーキテクチャを設計し,優れたVQA性能を達成するために,これらすべてのモジュールを統合した。著者らのMFHモデルの集合により,大規模VQAデータセットに関する最先端の性能を達成し,VQA Challenge2017におけるランナーアップを行った。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 計算機アーキテクチャ ,  コンテンツ ,  *多モード ,  *線形性 ,  ランナ ,  予測 ,  *因数分解 ,  高速度 ,  *視覚 ,  ニューラルネットワーク ,  画像 ,  相互作用
準シソーラス用語： 因子化 ,  特徴融合 ,  テキスト , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (6件)： 線形 ,  視覚 ,  質問応答 ,  一般化 ,  マルチモーダル ,  因数分解