文献

J-GLOBAL ID：202102281612690911   整理番号：21A0354587

ビデオベース人物認識のためのフレーム集約とマルチモーダル融合フレームワーク【JST・京大機械翻訳】

Frame Aggregation and Multi-modal Fusion Framework for Video-Based Person Recognition

著者 (6件)： Li Fangtao (Beijing University of Posts and Telecommucations, Beijing, China) ,  Wang Wenzhe (Beijing University of Posts and Telecommucations, Beijing, China) ,  Liu Zihe (Beijing University of Posts and Telecommucations, Beijing, China) ,  Wang Haoran (Beijing University of Posts and Telecommucations, Beijing, China) ,  Yan Chenghao (Beijing University of Posts and Telecommucations, Beijing, China) ,  Wu Bin (Beijing University of Posts and Telecommucations, Beijing, China)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 12572  ページ： 75-86  発行年： 2021年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： ビデオベースの人認識は,ブロックとぼやけ,そして,射撃角度の変化のため,挑戦的である。以前の研究は,ビデオフレーム間の類似性と連続性を無視して,静止画像に関する人認識に常に焦点を合わせた。上記の課題に取り組むために,ビデオベース人認識のための新しいフレーム集合とマルチモーダル融合(FAMF)フレームワークを提案し,それは顔特徴を集約し,ビデオ中の人を同定するためにマルチモーダル情報にそれらを組み入れる。フレーム凝集のために,入力として任意数の特徴を取り入れ,特徴品質に基づく固定長凝集特徴を計算するNetVLAD(注意VLADと呼ぶ)に基づく新しい訓練可能層を提案する。NetVLADへの注意機構の導入は,低品質フレームの影響を効果的に減少させることを示した。ビデオのマルチモデル情報のために,著者らは,相関グラムマトリックスを適応的に更新することによってマルチモダリティの相関関係を学ぶために,マルチラヤマルチモダル注意(MLMA)モジュールを提案した。iQIYI-VID-2019データセットに関する実験結果は,著者らのフレームワークが他の最先端の方法より優れていることを示した。Copyright Springer Nature Switzerland AG 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 凝集 ,  *録画装置 ,  静止画像 ,  連続性 ,  *多モード ,  類似性
準シソーラス用語： 人物認識 ,  マルチモダリティ ,  *マルチモーダル融合 , 【Automatic Indexing@JST】

著者キーワード (4件)： 人物認識 ,  ビデオ理解 ,  VLAD ,  マルチモーダル

分類 (2件)： パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： ビデオ ,  人物認識 ,  フレーム集約 ,  マルチモーダル融合 ,  フレームワーク