MORE:3Dシーンにおける高密度キャプションのための多次数リレーションマイニング【JST・京大機械翻訳】

Jiao Yang; Chen Shaoxiang; Jie Zequn; Chen Jingjing; Ma Lin; Jiang Yu-Gang

プレプリント

J-GLOBAL ID：202202215894639556 整理番号：22P0301853

MORE:3Dシーンにおける高密度キャプションのための多次数リレーションマイニング【JST・京大機械翻訳】

MORE: Multi-Order RElation Mining for Dense Captioning in 3D Scenes

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年07月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

3D高密度キャプテーションは最近提案された新しいタスクであり,点雲は2D対応物より幾何学的情報を含む。しかし,点雲に含まれるオブジェクト間関係の高い複雑性とより広い多様性により,より挑戦的である。既存の方法は,特にそれらを符号化することなくグラフにおけるオブジェクト特徴学習の副産物としてそのような関係を扱うだけで,準最適結果をもたらす。本論文では,3Dシーンにおける複雑な関係の捕捉と利用による3D高密度キャプテーションの改善を目的として,より記述的で包括的なキャプションの生成をサポートするために,Multi-Order RElationマイニングモデルであるMOREを提案した。技術的に,このMOREは,複雑な関係が限られた数の塩基性から推論されるので,漸進的な方法でオブジェクト関係を符号化する。最初に,3D物体提案上に構築されたグラフのエッジとしていくつかの一次関係を意味的に符号化する,新しい空間レイアウトグラフ畳込み(SLGC)を考案した。次に,得られたグラフから,基本ユニットとして基本的な一次関係をカプセル化する複数の三重項を抽出し,各ターゲットオブジェクトに対する多重次数関係を推論するために,いくつかのオブジェクト中心三重点注意グラフ(OTAG)を構築した。OTAGから更新されたノード特徴を集約し,豊富な関係手がかりを提供するためにキャプション復号器に供給し,コンテキストオブジェクトとの多様な関係を含むキャップを生成できる。Scan2Capデータセットに関する広範な実験は,提案したMOREとその成分の有効性を証明し,また,現在の最先端の方法より優れている。このコードはhttps://github.com/SxJyJay/MOREで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識

, , ,

前のページに戻る