文献

J-GLOBAL ID：202102270214490367   整理番号：21A3312489

参照表現理解とセグメンテーションのためのクロスモダリティシナジーネットワーク【JST・京大機械翻訳】

Cross-modality synergy network for referring expression comprehension and segmentation

著者 (8件)： Li Qianzhong (The State Key Laboratory of Management and Control for Complex System, Institute of Automation, Chinese Academy of Sciences, Beijing, China) ,  Li Qianzhong (School of Artificial Intelligences, University of Chinese Academy of Sciences, Beijing, China) ,  Zhang Yujia (The State Key Laboratory of Management and Control for Complex System, Institute of Automation, Chinese Academy of Sciences, Beijing, China) ,  Sun Shiying (The State Key Laboratory of Management and Control for Complex System, Institute of Automation, Chinese Academy of Sciences, Beijing, China) ,  Wu Jinting (The State Key Laboratory of Management and Control for Complex System, Institute of Automation, Chinese Academy of Sciences, Beijing, China) ,  Wu Jinting (School of Artificial Intelligences, University of Chinese Academy of Sciences, Beijing, China) ,  Zhao Xiaoguang (The State Key Laboratory of Management and Control for Complex System, Institute of Automation, Chinese Academy of Sciences, Beijing, China) ,  Tan Min (The State Key Laboratory of Management and Control for Complex System, Institute of Automation, Chinese Academy of Sciences, Beijing, China)
資料名： Neurocomputing  (Neurocomputing)
巻： 467  ページ： 99-114  発行年： 2022年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 表現理解とセグメンテーションは,自然言語表現に従って,画像における参照インスタンスを位置決めし,セグメンテーションすることを目的とする。しかしながら,既存の方法は視覚特徴学習のための視覚と言語モダリティの間の相互作用を無視する傾向があり,視覚と言語モダリティの間の相乗作用を確立することは,かなりの課題のままである。上記の問題に取り組むために,著者らは,2つのタスクを共同処理するために,新しいエンドツーエンドフレームワーク,クロスモダリティシンセージネットワーク(CMS-Net)を提案した。本研究では,画像と表現の両方に対するモーダル表現を学習するための注意意識表現学習モジュールを提案した。言語自己注意サブモジュールを,このモジュールで提案し,イントラモダリティ関係を利用して表現を学習して,言語誘導チャネル空間注意サブモジュールを導入して,言語誘導の下で言語意識視覚表現を得て,それは,このモデルが画像における異なった関連領域に対してより多くの注意を払って,バックグラウンド干渉を緩和するのを助ける。次に,著者らは,モダリティ融合のためのモード間関係を確立するために,交差モード相乗作用モジュールを設計した。特に,視覚特徴マップの各位置で言語ビジュアル類似性を得て,意味と空間次元の両方で2つのモダリティの間で相乗作用を達成した。さらに,マルチスケール特徴から重要な情報を集約するための選択的戦略を有するマルチスケール特徴融合モジュールを提案し,目標結果を与えた。4つの挑戦的なベンチマークに関する広範な実験を行い,著者らのフレームワークは最先端の方法に対して顕著な性能利得を達成した。Copyright 2021 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 干渉 ,  視覚 ,  相互作用 ,  学習 ,  言語 ,  *セグメンテーション ,  相乗作用 ,  自然言語 ,  エンドツーエンド方式 ,  利得 ,  チャネル ,  ベンチマーク
準シソーラス用語： *モダリティ ,  マルチスケール ,  特徴融合 , 【Automatic Indexing@JST】

著者キーワード (4件)： 参照表現理解 ,  参照表現セグメンテーション ,  クロスモダリティ相乗作用 ,  注意機構

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： 参照 ,  表現 ,  理解 ,  セグメンテーション