抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
画像融合は,単一画像の豊かさを改善するために,複数の情報源画像から情報を相補的情報と統合する技術である。不十分なタスク固有の訓練データと対応するグランドトルースのために,ほとんどの既存のエンドツーエンド画像融合法は,容易に過剰適合または退屈なパラメータ最適化プロセスに陥る。二段階法は,大規模自然画像データセット上でエンコーダ-デコーダネットワークを訓練し,融合のために抽出した特徴を利用することにより,大量のタスク特異的訓練データの必要性を避けるが,自然画像と異なる融合タスク間のドメインギャップは限られた性能をもたらす。本研究では,新しい符号器デコーダベースの画像融合フレームワークを設計し,タスク特有の特徴を学習するためのネットワークを奨励するための破壊再構成ベースの自己教師付き訓練方式を提案した。特に,画素強度非線形変換,輝度変換および雑音変換に基づくマルチモーダル画像融合,マルチ露光画像融合およびマルチフォーカス画像融合のための3つの破壊再構成自己監督補助タスクを提案した。互いを促進し,訓練されたネットワークの一般化可能性を増すために,異なる融合タスクを奨励するために,モデル訓練における自然画像を破壊するために,それらの1つをランダムに選択することによって,3つの自己監督補助タスクを統合した。さらに,特徴抽出のためにCNNと変換器を結合する新しい符号器を設計し,訓練されたモデルは局所情報と大域的情報の両方を利用することができる。マルチモーダル画像融合,マルチ露光画像融合およびマルチフォーカス画像融合タスクに関する大規模な実験は,著者らの提案方法が主観的および客観的評価において最先端の性能を達成することを実証した。このコードは,すぐに公的に利用可能である。【JST・京大機械翻訳】