CMX:変圧器によるRGB-Xセマンティックセグメンテーションのためのクロスモーダル融合【JST・京大機械翻訳】

Zhang Jiaming; Liu Huayao; Yang Kailun; Hu Xinxin; Liu Ruiping; Stiefelhagen Rainer

プレプリント

J-GLOBAL ID：202202205467881375 整理番号：22P0301488

CMX:変圧器によるRGB-Xセマンティックセグメンテーションのためのクロスモーダル融合【JST・京大機械翻訳】

CMX: Cross-Modal Fusion for RGB-X Semantic Segmentation with Transformers

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2023年11月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

画像セグメンテーションに基づくシーン理解は,自律車両の重要な構成要素である。RGB画像のピクセルワイズ意味セグメンテーションは,補足的モダリティ(X-モダリティ)から相補的な特徴を利用することによって進歩できる。しかし,モダリティ-診断モデルを有する多様なセンサをカバーすることは,異なるモダリティ間のセンサ特性の変動により未解決の問題である。以前のモダリティ固有手法とは異なり,本研究では,RGB-X意味セグメンテーションのための統一融合フレームワーク,CMXを提案した。異なる様式にわたってよく一般化するためには,しばしばサプリメントと不確実性を含むが,統一交差モード相互作用はモダリティ融合にとって極めて重要である。特に,著者らは,他のモダリティの特徴を修正するために,1つのモダリティから特徴を活用することによって,バイモーダル特徴を較正するために,クロスモーダル特徴再生モジュール(CM-FRM)を設計した。修正特徴ペアを用いて,混合前に長距離コンテキストの十分な交換を行うために,特徴融合モジュール(FFM)を展開した。CMXを検証するために,初めて,RGB,すなわち,深さ,熱,偏光,イベント,およびLiDARに相補的な5つのモダリティを統一した。大規模な実験は,CMXが多様なマルチモーダル融合によく一般化し,5つのRGB-Dethベンチマーク,ならびにRGB-Thermal,RGB-Polarization,およびRGB-LiDARデータセットに関する最先端の性能を達成することを示した。そのうえ,高密度スパースデータ融合への一般化可能性を調査するために,著者らは,CMXが新しい最先端をセットするイベントScapeデータセットに基づくRGB-Event意味セグメンテーションベンチマークを確立する。CMXのソースコードはhttps://github.com/huaaaliu/RGBX_Semantic_Segmentationで公開されている。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

医用画像処理 , 図形・画像処理一般

, , , ,

前のページに戻る