文献

J-GLOBAL ID：202002282477945234   整理番号：20A0492454

マルチモーダル条件付き敵対ネットワークによるオープンエンドビデオ質問応答【JST・京大機械翻訳】

Open-Ended Video Question Answering via Multi-Modal Conditional Adversarial Networks

著者 (6件)： Zhao Zhou (College of Computer Science, Zhejiang University, Hangzhou, China) ,  Xiao Shuwen (College of Computer Science, Zhejiang University, Hangzhou, China) ,  Song Zehan (College of Computer Science, Zhejiang University, Hangzhou, China) ,  Lu Chujie (College of Computer Science, Zhejiang University, Hangzhou, China) ,  Xiao Jun (College of Computer Science, Zhejiang University, Hangzhou, China) ,  Zhuang Yueting (College of Computer Science, Zhejiang University, Hangzhou, China)
資料名： IEEE Transactions on Image Processing  (IEEE Transactions on Image Processing)
巻： 29  ページ： 3859-3870  発行年： 2020年 
JST資料番号： W0364A  ISSN： 1057-7149  CODEN： IIPRE4  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 視覚情報検索における挑戦課題として,オープンエンドの長形ビデオ質問応答は,与えられた質問に従って参照ビデオコンテンツから自然言語応答を自動的に生成する。しかしながら,既存のビデオ質問応答は,主に短形ビデオに焦点を合わせており,これは,長形ビデオコンテンツの意味表現のモデル化の不十分さにより,直接的に長い形のビデオ質問応答に対して効果的に適用される可能性がある。本論文では,階層的な多モード条件付き敵ネットワーク学習の観点から,オープンエンドの長形ビデオ質問応答の問題を研究した。著者らは,長い形のビデオコンテンツの結合表現を学習するために階層的な注意符号器ネットワークを提案して,適応可能なビデオセグメンテーションによって与えられた質問を与えた。次に,強化復号器ネットワークを考案し,多モード条件付きのネットワーク学習によるオープンエンドビデオ質問応答に対する自然言語応答を生成した。3つの大規模オープンエンドビデオ質問応答データセットを構築した。広範な実験により,この方法の有効性を検証した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *ネットワーク ,  自然言語 ,  *多モード ,  *録画装置 ,  符号器 ,  復号器 ,  学習 ,  有効性
準シソーラス用語： 映像コンテンツ ,  視覚情報 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： マルチモーダル ,  敵対 ,  質問応答