文献

J-GLOBAL ID：201702238217159746   整理番号：17A1773090

マルチモーダル推論とマッチングのための二重注意ネットワーク【Powered by NICT】

Dual Attention Networks for Multimodal Reasoning and Matching

著者 (3件)： Nam Hyeonseob ,  Ha Jung-Woo ,  Kim Jeonghee
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： CVPR  ページ： 2156-2164  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ビジョンと言語間の細粒相互作用を捕捉するために視覚的およびテキスト的注意メカニズムを併用した二重注意ネットワーク(DANs)を提案した。DANs多段階によるテキストにおける画像と単語の特定領域に注意とモダリティの両者から得た情報を集める。このフレームワークに基づいて,著者らは,マルチモーダル推論とマッチングのための二種類のDANsを導入した。推論モデルは協調推論,視覚質問応答(VQA)のようなタスクに有用な中に互いにを操縦する視覚およびテキストの留意点を可能にした。さらに,マッチングモデルは,共有された意味論に焦点を当てて画像と文章間の類似性を推定するための二注意メカニズムを利用した。の大規模な実験は,視覚と言語を組み合わせてDANsの有効性を検証し,VQAと画像テキストマッチングのための公共ベンチマーク上で最先端技術レベルの性能を達成した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： *マッチング ,  視覚 ,  類似性 ,  *ネットワーク ,  単語 ,  言語 ,  ベンチマーク ,  画像 ,  *多モード ,  相互作用 ,  意味論
準シソーラス用語： 最先端技術 ,  質問応答 ,  モダリティ ,  テキスト , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： マルチモーダル ,  推論 ,  マッチング ,  注意