文献

J-GLOBAL ID：202202257832187655   整理番号：22A0886556

画像捕獲のための二重関係を意識したネットワークによる暗黙的および明示的関係の調査【JST・京大機械翻訳】

Exploring Implicit and Explicit Relations with the Dual Relation-Aware Network for Image Captioning

著者 (4件)： Zha Zhiwei (College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou, China) ,  Zhou Pengfei (College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou, China) ,  Zhou Pengfei (Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China) ,  Bai Cong (College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou, China)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 13142  ページ： 97-108  発行年： 2022年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 最近,シーングラフを用いたオブジェクト領域特徴およびグラフ畳込みネットワークを用いた変換器ベースアーキテクチャは,画像キャプテーションタスクにおいて大きな進歩を遂げた。しかしながら,以前の研究は,視覚空間における高レベル意味関係の発見にはほとんど注目を払わなかった。特に,それらは,文と画像の間の関係不整合の問題を典型的に無視し,画像オブジェクトの淡いリストを生成する可能性がある。アラインメントの展望から,オブジェクト,属性,および文章における関係のような要素があるが,視覚空間では,直接検出できるオブジェクトとそれらの属性のみが存在する。以前の研究は,文と画像の間の物体と属性を整列させることのみに焦点を当て,一方,文章で現れるが,画像では視覚的に観察できない関係を無視している。本論文では,二重経路関係符号器と適応コンテキスト関係復号器を構成する画像キャプテーション用の新しい二重関係意識ネットワーク(DRAN)を導入し,この問題を軽減する。具体的には,DRANにおける二重経路関係符号器は,暗黙関係とオブジェクト間の明示的関係を関係意識特徴に符号化する。次に,復号器における文脈ゲート融合モジュールは,デコーダが意味的に豊富なキャップを生成するのを助けるために,適応的に2つのタイプの関係意識特徴を融合する。MSCOCOデータセットに関する実験結果は,関係符号化と学習におけるDRANの優位性を実証し,提案したDRANがより意味的関係と詳細を捉えることができることを示した。これらの結論はSPICEスコアの最良性能によって,また,定性的に例証された視覚例によって反映される。Copyright Springer Nature Switzerland AG 2022 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アラインメント ,  グラフ ,  視覚 ,  畳込み ,  変圧器 ,  変換器 ,  *ネットワーク ,  復号器 ,  *画像 ,  符号器 ,  *捕獲 ,  不整合
準シソーラス用語： 意味的関連性 , 【Automatic Indexing@JST】

著者キーワード (5件)： 画像捕獲 ,  暗黙的および明示的関係 ,  二重関係を意識したネットワーク ,  変圧器 ,  シーングラフ

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： 捕獲 ,  意識 ,  調査