文献

J-GLOBAL ID：202002288992695088   整理番号：20A1750680

野生におけるグラフ構造参照表現推論【JST・京大機械翻訳】

Graph-Structured Referring Expression Reasoning in the Wild

著者 (3件)： Yang Sibei (The University of Hong Kong) ,  Li Guanbin (Sun Yat-sen University) ,  Yu Yizhou (The University of Hong Kong; Deepwise AI Lab)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： CVPR  ページ： 9949-9958  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 地上参照表現は,自然言語表現によって参照されるオブジェクトを画像に位置づけることを狙った。参照表現の言語構造は視覚コンテンツ上の推論のレイアウトを提供し,画像と参照表現を整列し,同時に理解することが重要である。本論文では,表現の言語構造の誘導の下で,意味グラフと神経モジュールを持つシーングラフ上で推論を行うシーングラフ誘導モジュールネットワーク(SGMN)を提案した。特に,構造化意味グラフとして画像をモデル化し,言語シーングラフに表現を構文する。言語シーングラフは,表現の言語構造を減らすだけでなく,画像意味グラフと一貫した表現も有した。また,構造解を接地参照表現に探索するために,構造化参照表現推論のための大規模実世界データセットであるRef-Reasoningを提案した。多様な表現テンプレートと機能的プログラムを用いて画像のシーングラフ上で参照表現を自動的に生成する。このデータセットは,異なる推論レイアウトを持つ意味論的に豊富な表現と同様に,実世界の視覚コンテンツを備えている。実験結果は,著者らのSGMNが,新しいRef-Reasoningデータセットに関する既存の最先端アルゴリズムより著しく優れているだけではなく,また,一般的に使用されるベンチマークデータセットに関する最新の構造化方法を上回ることを示した。また,推論の解釈可能な視覚証拠を提供できる。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  視覚 ,  意味論 ,  *言語 ,  接地 ,  自然言語 ,  ベンチマーク ,  コンテンツ
準シソーラス用語： 構文 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： グラフ構造 ,  参照 ,  表現 ,  推論