SiderRT:単一画像深さ推定のための実時間純変圧器アーキテクチャ【JST・京大機械翻訳】

Shu Chang; Chen Ziming; Chen Lei; Ma Kuan; Wang Minghui; Ren Haibing

プレプリント

J-GLOBAL ID：202202219401653488 整理番号：22P0340807

SiderRT:単一画像深さ推定のための実時間純変圧器アーキテクチャ【JST・京大機械翻訳】

SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年04月29日プレプリントサーバーでの情報更新日： 2022年04月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

文脈モデリングは単一画像から深さを推定するために重要であるので,研究者はグローバルな文脈を得ることに多大な努力を払った。多くのグローバルマニピュレーションを従来のCNNベースのアーキテクチャのために設計し,畳み込みの局所性を克服した。長距離依存性を捉えるために設計された注意機構または変圧器は,より良い選択であるが,通常,アーキテクチャを複雑にし,推論速度の減少につながる可能性がある。本研究では,実時間で優れた予測を達成できるSideRTと呼ばれる純粋な変圧器アーキテクチャを提案した。より良いグローバルコンテキストを捕えるために,交差-スケール注意(CSA)とマルチ-スケール精密化(MSR)モジュールは,効率的に異なるスケールの特徴を融合するために協調的に働くように設計されている。CSAモジュールは,高い意味類似性の融合特徴に焦点を合わせ,一方,MSRモジュールは,対応する位置で特徴を融合することを目的とする。これらの2つのモジュールは,軽量で有効なモデルを造ることに基づいて,畳み込みのないいくつかの学習可能なパラメータを含む。このアーキテクチャは,実時間(51.3FPS)で最先端の性能を達成し,より小さいバックボーンSwin-T(83.1FPS)で妥当な性能低下ではるかに速くなる。さらに,その性能は,大きなマージンによって以前の最先端技術を超え,KITTIに関するAbsRelメトリック6.9%とNYU上の9.7%を改善した。著者らの知る限り,これは変圧器ベースネットワークが単一画像深さ推定分野で実時間で最先端の性能を達成できることを示す最初の研究である。コードはすぐに利用できる。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

図形・画像処理一般

, , ,

前のページに戻る