文献

J-GLOBAL ID：202202268694165090   整理番号：22A0456628

画像-テキストマッチングのためのトピック制約を持つ領域強化ネットワーク【JST・京大機械翻訳】

Region Reinforcement Network With Topic Constraint for Image-Text Matching

著者 (5件)： Wu Jie (College of Computer Science and Technology, China University of Petroleum (East China), Qingdao, China) ,  Wu Chunlei (College of Computer Science and Technology, China University of Petroleum (East China), Qingdao, China) ,  Lu Jing (College of Computer Science and Technology, China University of Petroleum (East China), Qingdao, China) ,  Wang Leiquan (College of Computer Science and Technology, China University of Petroleum (East China), Qingdao, China) ,  Cui Xuerong (College of Oceanography and Space Informatics, China University of Petroleum (East China), Qingdao, China)
資料名： IEEE Transactions on Circuits and Systems for Video Technology  (IEEE Transactions on Circuits and Systems for Video Technology)
巻： 32  号： 1  ページ： 388-397  発行年： 2022年 
JST資料番号： W0321A  ISSN： 1051-8215  CODEN： ITCTEM  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 画像と文章マッチングは,それが視覚と言語の2つの重要なモダリティと関連するので,ますます注目を集めている。以前の方法は,領域語対の類似性を集約することによって,画像領域と単語の間の潜在的対応を見つけることを目的とする。しかしながら,これらのアプローチは,画像における多様な領域の関係についてほとんど考慮せず,すべての領域語対の類似性を等しく処理する。さらに,微細粒整列を過度に集束すると,元の画像の真の意味は歪められるであろう。本論文では,画像とテキスト間の対応を探索するために,トピック制約付きの新しい領域強化ネットワーク(RRTC)を提案した。特に,領域強化ネットワークを構築し,地域と再割り当て領域-語類似性の関係を考慮することによって,細粒対応を推論する。一方,主題制約モジュールを提示して,画像の中心テーマをまとめて,それは元の画像偏差を制約した。MSCOCOとFlickr30kデータセットの広範な実験結果は,提案したRRTCの有効性を検証した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アラインメント ,  視覚 ,  言語 ,  *ネットワーク ,  類似性 ,  有効性 ,  単語
準シソーラス用語： モダリティ , 【Automatic Indexing@JST】

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  テレビジョン一般  (ND12031N)

タイトルに関連する用語 (4件)： マッチング ,  トピック ,  制約 ,  強化