抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
1つのモダリティ(例えば,テキスト)からのクエリが,他のもの(例えば,リモートセンシング画像)からのアーカイブエントリに整合できる,正確でスケーラブルなクロスモーダル画像テキスト検索法の開発は,リモートセンシング(RS)において大きな注目を集めている。既存の方法の大部分は,正確にマッチしたテキスト画像対を有する信頼できるマルチモーダル訓練セットが存在すると仮定する。しかしながら,この仮定は,マルチモーダル訓練セットが雑音のあるペア(即ち,訓練画像に関連するテキスト記述/キャプション)を含むので,検索法の学習プロセスを歪めるため,必ずしも保持されないかもしれない。この問題に取り組むために,雑音の多い画像テキスト対応(CHNR)にロバストな新しい教師なしクロスモーダルハッシュ法を提案した。CHNRは3つのモジュールから成る。1)画像テキストペアの特徴表現を抽出する特徴抽出モジュール;2)ノイズ検出モジュール,それは潜在的ノイズ対応を検出する。3)交差モードバイナリハッシュ符号を生成するハッシュモジュール。提案したCHNRは,2つの訓練フェーズを含む:i)クリーン(即ち,信頼できる)データの小部分を使用するメタ学習フェーズ,敵対的ファッションにおける雑音検出モジュールを訓練する。およびii)訓練された雑音検出モジュールがノイズのある対応を同定するのに使用される主な訓練フェーズは,雑音のあるマルチモーダル訓練セットで訓練されたモジュールを訓練する。実験結果は,提案したCHNRが最先端の方法より優れていることを示した。著者らのコードは,https://git.tu berlin.de/rsim/chnrで公的に利用可能である。【JST・京大機械翻訳】