文献

J-GLOBAL ID：202002251163808590   整理番号：20A1077192

クロスモーダル検索のためのモダリティ固有で共有された生成的敵対ネットワーク【JST・京大機械翻訳】

Modality-specific and shared generative adversarial network for cross-modal retrieval

著者 (8件)： Wu Fei (College of Automation, Nanjing University of Posts and Telecommunications, Nanjing, China) ,  Jing Xiao-Yuan (School of Computer, Wuhan University, Wuhan, China) ,  Wu Zhiyong (College of Automation, Nanjing University of Posts and Telecommunications, Nanjing, China) ,  Ji Yimu (College of Computer, Nanjing University of Posts and Telecommunications, Nanjing, China) ,  Dong Xiwei (College of Automation, Nanjing University of Posts and Telecommunications, Nanjing, China) ,  Luo Xiaokai (College of Automation, Nanjing University of Posts and Telecommunications, Nanjing, China) ,  Huang Qinghua (School of Science, Nanjing University of Posts and Telecommunications, Nanjing, China) ,  Wang Ruchuan (College of Computer, Nanjing University of Posts and Telecommunications, Nanjing, China)
資料名： Pattern Recognition  (Pattern Recognition)
巻： 104  ページ： Null  発行年： 2020年 
JST資料番号： D0611A  ISSN： 0031-3203  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： クロスモーダル検索は,データの異なるモダリティ,例えば画像やテキストにわたる正確で柔軟な検索を実現することを目的としており,特に,生成的な敵ネットワーク(GAN)が使用されているので,近年著しい進歩を遂げている。しかし,改善の余地がある。どのようにして,モード特異的(相補性)とモード共有(相関)特徴の両方を効果的に抽出して利用するかは,効果的に研究されていない。本論文では,交差モード検索のための,モード特異的および共有一般化付加的ネットワーク(MS2GaN)と名付けたアプローチを提案した。このネットワークアーキテクチャは,各モダリティに対するモダリティ特有の特徴を学習することを目的とする2つのサブネットワークからなり,各モダリティに対するモダリティ共有特徴を学習することを目的とする共通サブネットワークが続く。ネットワーク訓練は,生成的モデルと識別モデルとの間の敵法により導かれる。生成モデルは,特徴の意味ラベルを予測するために学習し,ラベル情報とモード間およびモード間の類似性をモデル化し,識別モデルは特徴のモダリティを分類するために学習する。学習されたモダリティ特異的で共有された特徴表現は,検索のために共同で使用される。3つの広く使用されているベンチマーク多モードデータセットに関する実験は,MS2GaNが最先端の関連研究より優れていることを実証した。Copyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 学習 ,  *ネットワーク ,  相補性 ,  窒化ガリウム ,  多モード ,  類似性 ,  ベンチマーク ,  ネットワークアーキテクチャ
準シソーラス用語： *モダリティ ,  生成モデル ,  サブネットワーク ,  特徴表現 , 【Automatic Indexing@JST】

著者キーワード (4件)： クロスモーダル検索 ,  生成的敵対ネットワーク(GaN) ,  モダリティ特異的特徴学習 ,  モダリティ共有特徴学習

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： 検索 ,  モダリティ ,  固有 ,  共有 ,  敵対