文献

J-GLOBAL ID：202202287633610291   整理番号：22A0456604

ビデオ質問応答のための行動中心関係変圧器ネットワーク【JST・京大機械翻訳】

Action-Centric Relation Transformer Network for Video Question Answering

著者 (6件)： Zhang Jipeng (Center for Future Media, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  Shao Jie (Center for Future Media, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  Cao Rui (School of Information Systems, Singapore Management University, Singapore) ,  Gao Lianli (Center for Future Media, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  Xu Xing (Center for Future Media, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China) ,  Shen Heng Tao (Center for Future Media, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China)
資料名： IEEE Transactions on Circuits and Systems for Video Technology  (IEEE Transactions on Circuits and Systems for Video Technology)
巻： 32  号： 1  ページ： 63-74  発行年： 2022年 
JST資料番号： W0321A  ISSN： 1051-8215  CODEN： ITCTEM  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ビデオ質問回答(VideoQA)は,近年,一般的な研究題目として浮上している。より効果的な融合戦略とより良いイントラモーダル特徴作成の開発には,異常な努力が払われてきた。これらの問題をさらに探索するために,2つの重要な問題を同定した。(1)現在の作業は,ビデオ表現における関心の行動の導入をほとんど考慮しない。さらに,関心の行動が多くのデータセットにおいて,不十分なラベリングデータが存在する。しかし,ビデオQAにおける質問は,通常,行動中心である。(2)有用な時間的属性(例えば,状態遷移,行動計数)を提供できるフレーム対フレーム関係は,関連研究を欠いている。これらの観察に基づき,ビデオQAのための行動中心関係変圧器ネットワーク(ACRトランスフォーマ)を提案し,2つの重要な改善を行う。(1)行動認識問題を明示的に考察し,視覚特徴符号化技術,行動ベース符号化(ABE)を提示し,高い行動確率(フレームが行動を持つ確率)を持つフレームを強調する。(2)関係変圧器ネットワーク(Rトランスフォーマ)を用いて,時間フレーム間の相互作用をよりよく活用する。ビデオQAにおけるポピュラーなベンチマークデータセットに関する実験は,以前の最先端のモデルよりも明らかに著者らの優位性を確立する。コードはhttps://github.com/op-multimodal/ACRTransformerで見いだされた。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 相互作用 ,  *変圧器 ,  *ネットワーク ,  *録画装置 ,  ベンチマーク
準シソーラス用語： 行動認識 , 【Automatic Indexing@JST】

分類 (3件)： パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I) ,  テレビジョン一般  (ND12031N)

タイトルに関連する用語 (4件)： ビデオ ,  質問応答 ,  行動 ,  変圧器