TransFuse:自己教師つき学習を用いた統一変圧器ベース画像融合フレームワーク【JST・京大機械翻訳】

Qu Linhao; Liu Shaolei; Wang Manning; Li Shiman; Yin Siqi; Qiao Qin; Song Zhijian

プレプリント

J-GLOBAL ID：202202219362675037 整理番号：22P0276611

TransFuse:自己教師つき学習を用いた統一変圧器ベース画像融合フレームワーク【JST・京大機械翻訳】

TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年01月19日プレプリントサーバーでの情報更新日： 2022年01月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

画像融合は,単一画像の豊かさを改善するために,複数の情報源画像から情報を相補的情報と統合する技術である。不十分なタスク固有の訓練データと対応するグランドトルースのために,ほとんどの既存のエンドツーエンド画像融合法は,容易に過剰適合または退屈なパラメータ最適化プロセスに陥る。二段階法は,大規模自然画像データセット上でエンコーダ-デコーダネットワークを訓練し,融合のために抽出した特徴を利用することにより,大量のタスク特異的訓練データの必要性を避けるが,自然画像と異なる融合タスク間のドメインギャップは限られた性能をもたらす。本研究では,新しい符号器デコーダベースの画像融合フレームワークを設計し,タスク特有の特徴を学習するためのネットワークを奨励するための破壊再構成ベースの自己教師付き訓練方式を提案した。特に,画素強度非線形変換,輝度変換および雑音変換に基づくマルチモーダル画像融合,マルチ露光画像融合およびマルチフォーカス画像融合のための3つの破壊再構成自己監督補助タスクを提案した。互いを促進し,訓練されたネットワークの一般化可能性を増すために,異なる融合タスクを奨励するために,モデル訓練における自然画像を破壊するために,それらの1つをランダムに選択することによって,3つの自己監督補助タスクを統合した。さらに,特徴抽出のためにCNNと変換器を結合する新しい符号器を設計し,訓練されたモデルは局所情報と大域的情報の両方を利用することができる。マルチモーダル画像融合,マルチ露光画像融合およびマルチフォーカス画像融合タスクに関する大規模な実験は,著者らの提案方法が主観的および客観的評価において最先端の性能を達成することを実証した。このコードは,すぐに公的に利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

, , , ,

前のページに戻る