文献

J-GLOBAL ID：202202256389736447   整理番号：22A0456320

細粒度画像捕獲のための文脈を意識した視覚ポリシーネットワーク【JST・京大機械翻訳】

Context-Aware Visual Policy Network for Fine-Grained Image Captioning

著者 (5件)： Zha Zheng-Jun (School of Information Science and Technology, University of Science and Technology of China, Hefei, China) ,  Liu Daqing (School of Information Science and Technology, University of Science and Technology of China, Hefei, China) ,  Zhang Hanwang (School of Computer Science and Engineering, Nanyang Technological University, Singapore) ,  Zhang Yongdong (School of Information Science and Technology, University of Science and Technology of China, Hefei, China) ,  Wu Feng (School of Information Science and Technology, University of Science and Technology of China, Hefei, China)
資料名： IEEE Transactions on Pattern Analysis and Machine Intelligence  (IEEE Transactions on Pattern Analysis and Machine Intelligence)
巻： 44  号： 2  ページ： 710-722  発行年： 2022年 
JST資料番号： B0519B  ISSN： 0162-8828  CODEN： ITPIDJ  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 視覚検出技術の成熟により,著者らは,オープンボカブリー,微細粒および自由形状言語,すなわち,画像キャプティングのタスクによる視覚コンテンツの記述において,より野心的である。特に,画像記述として,より長く,より豊富で,より細粒の文章とパラグラフを生成することに興味があった。画像キャプティングは,視覚コンテンツを与える逐次言語予測のタスクに翻訳でき,そこでは,出力シーケンスが妥当な文法を有する自然言語記述を形成する。しかしながら,既存の画像キャプティング法は,視覚政策ではなく,言語ポリシーのみに焦点を当て,従って,オブジェクト関係(例えば,「マン乗馬」)や視覚比較(例えば「小さな(er)ネコ」)のような組成推論に重要な視覚コンテキストを捉えることができない。この問題は,パラグラフのような長いシーケンスを生成するときに特に厳しい。ギャップを埋めるために,著者らは,微細粒画像対言語生成のためのコンテキストアウェアビジュアルポリシーネットワーク(CAVP)を提案する:画像文章キャプテーションと画像パラグラフキャプテーション。キャプテーションの間,CAVPはコンテキストとして以前の視覚的注意を明確に考慮し,現在の視覚注意を与える現在の単語/文生成のためにコンテキストが使用されるかどうかを決定する。各ステップで単一視覚領域を固定するだけの従来の視覚注意機構と比較して,CAVPは時間にわたって複雑な視覚組成に通じることができる。全体の画像キャプテーションモデルVoIPCAVPとその後続の言語政策ネットワーク経済を,アクター-批判政策勾配法を用いて効率的に最適化する。MS-COCOとStanfordキャプテーションデータセットに関する最先端の性能によるCAVPの有効性を,定性的視覚文脈の様々な計量と顕在可視化を用いて実証した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 最適化 ,  *視覚 ,  傾斜法 ,  言語 ,  *ネットワーク ,  可視化 ,  文法 ,  自然言語 ,  検出法 ,  *捕獲 ,  有効性 ,  単語 ,  コンテンツ
準シソーラス用語： 文章生成 ,  視覚的注意 , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： 細粒度 ,  捕獲 ,  文脈 ,  意識 ,  視覚