文献

J-GLOBAL ID：202102218414094527   整理番号：21A2487717

クロスモーダル検索のための双方向集中型セマンティックアラインメント注意ネットワーク【JST・京大機械翻訳】

Bidirectional Focused Semantic Alignment Attention Network for Cross-Modal Retrieval

著者 (4件)： Cheng Shuli (Xinjiang University,College of Information Science and Engineering,Xinjiang,China,830046) ,  Wang Liejun (Xinjiang University,College of Information Science and Engineering,Xinjiang,China,830046) ,  Du Anyu (Xinjiang University,College of Information Science and Engineering,Xinjiang,China,830046) ,  Li Yongming (Xinjiang University,College of Information Science and Engineering,Xinjiang,China,830046)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2021  号： ICASSP  ページ： 4340-4344  発行年： 2021年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： クロスモーダル検索は知的理解において非常に挑戦的で重要なタスクである。研究者は,重み付き注意機構を通してモーダル意味情報を捉えることを試みてきた。それでも,それらは無関係な意味情報のマイナス効果を除去することができず,細粒のモーダル意味情報を捉えることができない。マルチモーダル意味情報をさらに正確に捉えるために,双方向集束セマンティックアラインメント注意ネットワーク(BFSAAN)を提案し,クロスモーダル検索タスクを処理した。BFSAANのコアアイデアは以下の通りである。1)双方向集束注意機構を採用して,モーダル意味情報を共有し,さらに,無関係な意味情報の負の影響を除去した。2)ストリププールを画像とテキストモダリティに適用し,モーダル空間意味情報を捉える軽量空間注意機構である。3)二次共分散プールを,マルチモーダル意味表現を得て,モードチャネル意味情報を捕捉して,画像テキストモダリティ間の意味的アラインメントを達成するために調査した。実験は2つの標準交差モード検索データセット(Flickr30KとMS COCO)で行った。実験計画は,性能比較,アブレーション解析,アルゴリズム収束,および視覚解析の4つの側面を含む。実験結果は,BFSAANがより良いクロスモーダル検索性能を有することを示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *アラインメント ,  アルゴリズム ,  視覚 ,  実験計画法 ,  集束 ,  検索効率 ,  *ネットワーク ,  共分散 ,  多モード ,  アブレーション
準シソーラス用語： モダリティ ,  性能比較 ,  意味情報 ,  軽量 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： 検索 ,  双方向 ,  アラインメント ,  注意