リテラル意味を超えた知識に富む画像の理解【JST・京大機械翻訳】

Weiland Lydia; Hulpus Ioana; Ponzetto Simone Paolo; Effelsberg Wolfgang; Dietz Laura

文献

J-GLOBAL ID：201802228362560831 整理番号：18A1934340

リテラル意味を超えた知識に富む画像の理解【JST・京大機械翻訳】

Knowledge-rich image gist understanding beyond literal meaning

出版者サイト複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=18A1934340&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=18A1934340&from=J-GLOBAL&jstjournalNo=D0823B") }}

著者 (5件)： , , , ,
資料名：
巻： 117 ページ： 114-132 発行年： 2018年
JST資料番号： D0823B ISSN： 0169-023X CODEN： DKENEW 資料種別：逐次刊行物 (A)
記事区分：原著論文発行国：オランダ (NLD) 言語：英語 (EN)

画像により伝達されるメッセージ(gist)を理解する問題と,例えばWebサイトやニュース記事に関するそれらのキャプションを調べた。この目的のために,著者らは,以前にテキスト理解に非常に効果的であることが示されている大量の機械的に読みやすい知識に基づいて,画像捕捉対の意味を捉える方法論を提案した。提案手法では,オブジェクトの表現に焦点を当てた画像理解に対する多くのアプローチ,すなわち,それらのリストの意味,すなわち,画像のメッセージを理解するためのオブジェクトのアイコン意味,すなわちオブジェクトのアイコン的意味を扱う,という意味を超えてオブジェクトの含意を同定する。筆者らは,Wikipediaによって提供されたもののような概念の広い範囲の語彙に基づいて画像理解対を表現するタスクとして画像理解を見,質問として画像捕捉ペアを持つ概念ランク付け問題としてキャストリスト検出を行った。提案したアルゴリズムは,エンティティリンクとクラスタ化,サブグラフ選択,意味論的関連性,および学習からランク付けの側面を新しい方法でもたらす。この新しいタスクと著者らのアプローチの完全な評価に加えて,この問題に関するさらなる研究を促進するための新しいデータセットを導入した。要点理解の問題の全体的調査を可能にするために,著者らは,300以上の画像捕捉対の金標準と,異なる抽象レベルにおける広範囲の話題をカバーする8000gistアノテーションを作成した。このデータセットを用いて,不均一ソース,すなわち画像とテキストからの異なる種類の信号の寄与を実験的にベンチマークした。0.69の平均精度(MAP)による最良の結果は,両方の次元を組み合わせることにより,言語または視覚情報のみを用いる場合よりも,画像捕捉対の意味をより良く理解できることを示した。著者らの監督されたアプローチは,人間に注釈された金標準データセットの利用可能性に依存している。おそらく複雑なトピックラベルを持つ注釈画像は,専門家の人の注釈に依存しなければならない非常に時間がかかるタスクである。従って,このプロセスの部分が自動画像アノテーションと捕獲生成技術を用いて自動化できるかどうかを調べた。これらの結果は,自動的に生成された画像タグまたは生成されたキャプションを用いて,自動的に生成された入力により二次元の一つを置き換えるときに,ギスト検出に対するエンドツーエンド手法の一般的な実現可能性を示す。しかし,最先端の画像とテキスト理解は,画像捕捉対のリスト的意味を理解するのにより良いことを実験的に示した。その代わりに,一般的には検出が困難であり,そのため,それらのコンテンツを超えた画像のメッセージを理解するための将来の研究の道を開いた。Copyright 2018 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

, , , , , , , , , , , , , ,

著者キーワード (3件)： , ,

図形・画像処理一般

, ,

前のページに戻る