文献

J-GLOBAL ID：202202229569878705   整理番号：22A0984649

画像テキスト検索のためのクロスモーダルグラフマッチングネットワーク【JST・京大機械翻訳】

Cross-modal Graph Matching Network for Image-text Retrieval

著者 (5件)： Cheng Yuhao (Shanghai Jiao Tong University, Shanghai, China) ,  Zhu Xiaoguang (Shanghai Jiao Tong University, Shanghai, China) ,  Qian Jiuchao (Shanghai Jiao Tong University, Shanghai, China) ,  Wen Fei (Shanghai Jiao Tong University, Shanghai, China) ,  Liu Peilin (Shanghai Jiao Tong University, Shanghai, China)
資料名： ACM Transactions on Multimedia Computing, Communications, and Applications  (ACM Transactions on Multimedia Computing, Communications, and Applications)
巻： 18  号： 4  ページ： 1-23  発行年： 2022年 
JST資料番号： W5702A  ISSN： 1551-6857  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 画像テキスト検索は,主要アイデアが画像テキストマッチングを学習することである基本的クロスモーダルタスクである。一般に,検索プロセスの間に相互作用が存在するかどうかに従って,既存の画像テキスト検索方法を独立表現マッチング方法と交差相互作用マッチング法に分類することができる。独立表現マッチング法は,画像と文章の埋込みを独立に生成させ,従って,手作業マッチング測度(例えば,余弦またはユークリッド距離)による検索に便利である。交差相互作用マッチング法に関して,それらは相互関係推論のために相互作用ベースのネットワークを導入することによって改良を達成して,しかし,低い検索効率に悩ました。本論文は,交差相互作用法のクロスモーダル相互関係推論の利点を利用する方法を開発することを目的とし,一方,独立した方法と同様に効率的であった。この目的のために,ネットワーク相互作用を導入することなく,内部および相互関係の両方を探索するグラフベースのクロスモーダルグラフマッチングネットワーク(CGMN)を提案した。CGMNにおいて,グラフは視覚およびテキスト表現の両方に対して使用され,領域および単語を通してそれぞれ関係内推論を達成した。さらに,細粒交差モード対応を学習し,相互関係推論を達成するために,新しいグラフノードマッチング損失を提案した。ベンチマークデータセットMS-COCO,Flickr8KおよびFlickr30Kに関する実験は,CGMNが画像検索において最先端の方法より優れていることを示した。さらに,CGMMはインタラクティブマッチングを用いた最先端の手法よりも遥かに効率的である。コードはhttps://github.com/cyh-sj/CGMNで利用可能である。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 視覚 ,  相互作用 ,  検索効率 ,  *ネットワーク ,  相関 ,  *画像 ,  *マッチング ,  単語 ,  画像検索
準シソーラス用語： *グラフマッチング ,  Euclid距離 ,  *マッチングネットワーク , 【Automatic Indexing@JST】

著者キーワード (4件)： 画像テキスト検索 ,  関係推論 ,  グラフマッチング ,  クロスモーダルマッチング

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  検索技術  (AC06020S)

タイトルに関連する用語 (1件)： 検索