文献

J-GLOBAL ID：202202259173420031   整理番号：22A0310937

DSGSR:画像-テキストマッチングのための動的意味生成および類似性推論【JST・京大機械翻訳】

DSGSR: Dynamic Semantic Generation and Similarity Reasoning for Image-Text Matching

著者 (4件)： Li Xiaojing (Northeastern University, Shenyang, China) ,  Wang Bin (Northeastern University, Shenyang, China) ,  Zhang Xiaohong (Northeastern University, Shenyang, China) ,  Yang Xiaochun (Northeastern University, Shenyang, China)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 13069  ページ： 168-179  発行年： 2022年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： クロスモーダル画像テキストマッチングは,視覚および言語関係の構築に不可欠である。最大の課題は,画像とテキストにおける不均一性を除去することである。既存の細粒画像テキストマッチング法は,細粒対応の探索において大きな進歩をしている。しかし,それらは,画像領域意味論と動的画像-テキストマッチングの重要性を無視するクロス-アテンション法だけを使用する。本論文では,画像テキストマッチングのための新しい動的意味生成と類似性推論(DSGSR)ネットワークモデルを提案した。特に,画像の局所特徴を豊かにする内部モード関係を用いた。次に,動的クロスモーダルマッチングを考慮して,検索画像またはテキスト表現に従ってクエリテキストまたは画像表現を動的に生成した。また,画像テキスト類似性を測定するとき,マッチング精度に及ぼす隣接ノード情報の影響を取り扱うために,グラフ畳込みネットワーク(GCN)を導入した。多数の実験と解析は,DSGSRモデルがFlickr30KとMSCOCOデータセットの最先端技術を上回ることを示した。Copyright Springer Nature Switzerland AG 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 視覚 ,  畳込み ,  意味論 ,  言語 ,  ネットワーク ,  発電 ,  精度 ,  *画像 ,  モデル ,  動画像 ,  類似性 ,  *マッチング
準シソーラス用語： 画像表現 ,  ネットワークモデル ,  クエリー ,  局所特徴 , 【Automatic Indexing@JST】

著者キーワード (3件)： クロスモーダル ,  地域意味論 ,  動的発電

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： マッチング ,  意味 ,  類似性 ,  推論