文献

J-GLOBAL ID：201702213685970643   整理番号：17A1773506

ヒト凝視データによるビデオ字幕付けのためのニューラル注意モデルの監視【Powered by NICT】

Supervising Neural Attention Models for Video Captioning by Human Gaze Data

著者 (6件)： Yu Youngjae ,  Choi Jongwook ,  Kim Yeonhwa ,  Yoo Kyung ,  Lee Sang-Hun ,  Kim Gunhee
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： CVPR  ページ： 6119-6127  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワークにおける注意メカニズムは予測出力を生成するために時間情報の最も重要な部品に焦点を当てた連続ヒト注目に触発されている。モデルにおける注意パラメータは,エンドツーエンド的に訓練された暗黙,明示的に注意モデルを監視するための人間の凝視追跡を組み込むために試験はほとんどされていない。本論文では,注意モデルは,明示的な人間の凝視ラベル,特にビデオ字幕のタスクから利益を得ることができるかどうかを調べた。VASと呼ばれる新しいデータセット,映画クリップから成ると人間の凝視追跡データと共に対応する多重記述文を収集した。文生成のための空間的および時間的注意を提供するために,視線追跡情報を活用できることを注視をコードする注意ネットワーク(GEAN)と命名したビデオ字幕モデルを提案した。アマゾン機械的Turkによる言語類似性計量とヒトの評価の評価を通して,筆者らは人間の凝視データにより誘導された空間上の留意点が実際に複数の字幕法の性能を改善することを実証した。さらに著者らは,提案した方法は,著者らのVASデータセットだけでなく,標準データセット(例えばLSMDC[24]とHollywood2[18])における凝視予測とビデオ字幕の両方のための最先端の性能を達成することを示した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： ニューラルネットワーク ,  *録画装置 ,  ネットワーク ,  予測 ,  言語 ,  エンドツーエンド方式 ,  *ヒト ,  多重化 ,  *モデル ,  類似性
準シソーラス用語： 視線追跡 ,  文章生成 ,  時間情報 ,  *字幕 ,  *固視 , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (6件)： ヒト ,  凝視 ,  ビデオ ,  字幕 ,  注意 ,  モデル