文献

J-GLOBAL ID：201802235247789493   整理番号：18A0137509

ビデオ記述のためのアテンションベースのマルチモーダルフュージョン【Powered by NICT】

Attention-Based Multimodal Fusion for Video Description

著者 (8件)： Hori Chiori ,  Hori Takaaki ,  Lee Teng-Yok ,  Zhang Ziming ,  Harsham Bret ,  Hershey John R. ,  Marks Tim K. ,  Sumi Kazuhiko
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ICCV  ページ： 4203-4212  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ビデオ記述のための現在の方法はリカレントニューラルネットワーク(RNN)を用いた符号器-復号器文生成に基づいている。最近の研究は,時間的注意機構を統合したこれらのモデルへの利点,復号器ネットワークは,特定の時間枠からのコード化された特徴へより多くの重みを与える選択的に記述中の各単語を予測することを示した。そのような方法は典型的には二種類の特徴:画像特徴(対象分類モデルから)および動き特徴(行動認識モデルから)の,モデル入力におけるナイーブ連結による組み合わせを用いた。異なる特徴様式は異なる時間でタスクに関連した情報をもたらす可能性があるので,ナイーブ連結により,融合を記述の異なる部分に特徴の各タイプの関連性を動的に決定するためのモデルの能力を制限する可能性がある。本論文では,画像および運動特徴に加えて音声特徴を組み込んだ。これら三種類の様式を融合するために,出力記述中の各単語のための異なるモダリティからの特徴を利用した選択的にマルチモーダル注意モデルを導入した。新しいマルチモーダル注意モデルの結合標準時間的注意二標準データセット上で最先端の方法よりも優れている:YouTube2TextとMSR VTT。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： *録画装置 ,  符号器 ,  単語 ,  復号器 ,  *多モード ,  ネットワーク ,  画像特性 ,  符号化 ,  画像
準シソーラス用語： モダリティ ,  音声特徴 ,  行動認識 ,  分類モデル ,  文章生成 ,  リカレントニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (3件)： ビデオ ,  記述 ,  アテンション