文献

J-GLOBAL ID：202202276981573042   整理番号：22A0891369

テキストベース人物探索のための仮想属性デカップリングによる埋め込み学習の改善【JST・京大機械翻訳】

Improving embedding learning by virtual attribute decoupling for text-based person search

著者 (4件)： Wang Chengji (Department of Artificial Intelligence, Xiamen University, Xiamen, China) ,  Luo Zhiming (Department of Artificial Intelligence, Xiamen University, Xiamen, China) ,  Lin Yaojin (School of Computer Science, Minnan Normal University, Zhangzhou, China) ,  Li Shaozi (Department of Artificial Intelligence, Xiamen University, Xiamen, China)
資料名： Neural Computing & Applications  (Neural Computing & Applications)
巻： 34  号： 7  ページ： 5625-5647  発行年： 2022年 
JST資料番号： W0703A  ISSN： 0941-0643  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 本論文は,テキストベース人探索の問題を考察し,質問テキスト記述に基づくターゲット人を見つけることを目指した。これまでの方法は,共有画像テキスト埋込みを学習するのに一般的に焦点を合わせているが,歩行者属性の影響をほとんど無視する。属性は細粒情報であり,それは中レベル意味論を提供し,従来の画像ベース人探索において有効であることを実証した。しかしながら,テキストベース人探索において,属性の記述は,異なるテキストで多様であり,属性アノテーションの援助なしに属性関連情報を切り離すのが難しいので,識別画像テキスト埋込みを学習するために属性情報を組み入れることは難しい。本論文では,学習モダリティ不変画像テキスト埋込みのための仮想属性デカップリング(iVAD)モデルによる埋込み学習の改善を提案した。著者らの知る限り,これはテキストベース人探索タスクにおける教師なし属性デカップリングを実行する最初の研究である。iVADでは,まず,画像とテキストから属性情報を分解するために,符号器デコーダ埋込み学習構造を用いる新しい仮想属性デカップリング(VAD)モジュールを提案する。このモジュールでは,歩行者属性を隠れベクトルとみなし,属性関連埋込みを得る。さらに,画像テキスト埋込み学習から属性学習を分離する以前の研究と異なり,階層的特徴埋込みフレームワークを提案した。属性関連埋込みを属性強化特徴埋込み(AEFE)モジュールにより学習画像テキスト埋込みに組み込んだ。提案したAEFEモジュールは,学習された特徴の弁別性を改善するために属性情報を利用することができる。広範な評価は,CUHK-PEDESデータセットに関する広範囲の最先端の方法に対する著者らの方法の優位性を実証した。Caltech-UCSD Birds(CUB),Oxford-102フローラ(Flows)およびFlickr30Kに関する実験結果は,提案した方法の有効性を検証した。更なる可視化は,提案したiVADモデルが対応する画像テキストペアにおける共起歩行者属性を効果的に発見できることを示した。Copyright The Author(s), under exclusive licence to Springer-Verlag London Ltd., part of Springer Nature 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ベクトル ,  意味論 ,  *学習 ,  歩行者 ,  復号器 ,  可視化 ,  符号器 ,  *デカップリング ,  フローラ ,  有効性 ,  埋込み【挿入】 ,  アノテーション
準シソーラス用語： モダリティ , 【Automatic Indexing@JST】

著者キーワード (4件)： テキストベース人物探索 ,  クロスモダリティ検索 ,  自己注意 ,  属性

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (7件)： 人物 ,  探索 ,  仮想 ,  属性 ,  デカップリング ,  埋め込み ,  学習