関係フォーマ:画像からグラフへの生成のための統一フレームワーク【JST・京大機械翻訳】

Shit Suprosanna; Koner Rajat; Wittmann Bastian; Paetzold Johannes; Ezhov Ivan; Li Hongwei; Pan Jiazhen; Sharifzadeh Sahand; Kaissis Georgios; Tresp Volker; Menze Bjoern

プレプリント

J-GLOBAL ID：202202212867553667 整理番号：22P0306852

関係フォーマ:画像からグラフへの生成のための統一フレームワーク【JST・京大機械翻訳】

Relationformer: A Unified Framework for Image-to-Graph Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (11件)： , , , , , , , , , ,
資料名：
発行年： 2022年03月18日プレプリントサーバーでの情報更新日： 2022年03月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

画像の包括的な表現は,特に画像対グラフ生成,例えば道路ネットワーク抽出,血管ネットワーク抽出,またはシーングラフ生成において,オブジェクトとそれらの相互関係の理解を必要とする。伝統的に,画像対グラフ生成は,オブジェクト検出とそれに続く分離関係予測からなる2段階アプローチで対処され,これは同時オブジェクト関係相互作用を妨げる。本研究では,オブジェクトとそれらの関係を同時に予測する,統一的1段変圧器ベースフレームワーク,すなわち,レレーションフォーマを提案した。直接集合ベースオブジェクト予測を活用し,オブジェクト間のインタラクションを組み込み,オブジェクト関係表現を共同で学習した。既存の[obj]トークンに加えて,新しい学習可能なトークン,すなわち,[rln]トークンを提案した。[obj]トークンと共に,[rln]トークンは,一連の相互関連を通して画像における局所および大域的意味推論を利用する。ペアワイズ[obj]トークンと組み合わせて,[rln]トークンは計算的に効率的な関係予測に寄与する。提案アプローチの有効性および一般化可能性を実証する多重,多様およびマルチドメインデータセットに関する最先端の性能を達成した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

, ,

前のページに戻る