リモートセンシングにおける雑音性トレーニング画像-テキスト対応にロバストな教師なしクロスモーダルハッシング法【JST・京大機械翻訳】

Mikriukov Georgii; Ravanbakhsh Mahdyar; Demir Beguem

プレプリント

J-GLOBAL ID：202202213988774110 整理番号：22P0295729

リモートセンシングにおける雑音性トレーニング画像-テキスト対応にロバストな教師なしクロスモーダルハッシング法【JST・京大機械翻訳】

An Unsupervised Cross-Modal Hashing Method Robust to Noisy Training Image-Text Correspondences in Remote Sensing

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月26日プレプリントサーバーでの情報更新日： 2022年02月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

1つのモダリティ(例えば,テキスト)からのクエリが,他のもの(例えば,リモートセンシング画像)からのアーカイブエントリに整合できる,正確でスケーラブルなクロスモーダル画像テキスト検索法の開発は,リモートセンシング(RS)において大きな注目を集めている。既存の方法の大部分は,正確にマッチしたテキスト画像対を有する信頼できるマルチモーダル訓練セットが存在すると仮定する。しかしながら,この仮定は,マルチモーダル訓練セットが雑音のあるペア(即ち,訓練画像に関連するテキスト記述/キャプション)を含むので,検索法の学習プロセスを歪めるため,必ずしも保持されないかもしれない。この問題に取り組むために,雑音の多い画像テキスト対応(CHNR)にロバストな新しい教師なしクロスモーダルハッシュ法を提案した。CHNRは3つのモジュールから成る。1)画像テキストペアの特徴表現を抽出する特徴抽出モジュール;2)ノイズ検出モジュール,それは潜在的ノイズ対応を検出する。3)交差モードバイナリハッシュ符号を生成するハッシュモジュール。提案したCHNRは,2つの訓練フェーズを含む:i)クリーン(即ち,信頼できる)データの小部分を使用するメタ学習フェーズ,敵対的ファッションにおける雑音検出モジュールを訓練する。およびii)訓練された雑音検出モジュールがノイズのある対応を同定するのに使用される主な訓練フェーズは,雑音のあるマルチモーダル訓練セットで訓練されたモジュールを訓練する。実験結果は,提案したCHNRが最先端の方法より優れていることを示した。著者らのコードは,https://git.tu berlin.de/rsim/chnrで公的に利用可能である。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般 , 検索技術

, , , ,

前のページに戻る