文献

J-GLOBAL ID：202202219995289216   整理番号：22A0456317

グラフベース多粒度相互作用学習による細粒ビデオキャプション【JST・京大機械翻訳】

Fine-Grained Video Captioning via Graph-based Multi-Granularity Interaction Learning

著者 (12件)： Yan Yichao (Shanghai Jiao Tong University, Shanghai, China) ,  Zhuang Ning (Shanghai Jiao Tong University, Shanghai, China) ,  Ni Bingbing (Shanghai Jiao Tong University, Shanghai, China) ,  Zhang Jian (Shanghai Jiao Tong University, Shanghai, China) ,  Xu Minghao (Shanghai Jiao Tong University, Shanghai, China) ,  Zhang Qiang (Shanghai Jiao Tong University, Shanghai, China) ,  Zhang Zheng (Shanghai Jiao Tong University, Shanghai, China) ,  Cheng Shuo (Shanghai Jiao Tong University, Shanghai, China) ,  Tian Qi (University of Texas at San Antonio, San Antonio, TX, USA) ,  Xu Yi (Shanghai Jiao Tong University, Shanghai, China) ,  Yang Xiaokang (MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai, China) ,  Zhang Wenjun (Shanghai Jiao Tong University, Shanghai, China)
資料名： IEEE Transactions on Pattern Analysis and Machine Intelligence  (IEEE Transactions on Pattern Analysis and Machine Intelligence)
巻： 44  号： 2  ページ： 666-683  発行年： 2022年 
JST資料番号： B0519B  ISSN： 0162-8828  CODEN： ITPIDJ  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 非常に詳細に多主題対話型ビデオのための連続的言語記述を生成する学習は,チームスポーツ自動操縦における特別な応用を有する。従来のビデオキャプションとは対照的に,このタスクは,細粒個別行動の同時モデリング,頻繁なグループ相互作用の時空間依存性構造を明らかにし,次に,これらの複雑な相互作用の詳細を長く詳細なコメントに正確にマッピングすることを必要とするので,より挑戦的である。これらの課題を明確に取り組むために,著者らは,細粒チームスポーツオートナティブタスクのためのマルチグラニュラリティインタラクション表現(GLMGIR)のための新しいフレームワークグラフベースの学習を提案する。マルチ粒状相互作用モデリングモジュールを提案し,内部およびチーム間相互作用の両者を符号化するための進行的方法で,被験者間の対話型行動を抽出した。上記のマルチ粒状表現に基づいて,マルチ粒状注意モジュールを開発し,多重時空分解能の行動/事象記述を考察した。両モジュールはシームレスに統合され,最終ナラティブを生成するために協調的な方法で作業する。一方,再現性のある研究を容易にするために,Sportsビデオナラティブデータセット(SVN)と呼ばれるYouTube.comから新しいビデオデータセットを集めた。それは,6K6Kチームスポーツビデオ(すなわち,NBAバスケットボールゲーム)を10K10Kのグランドトルティブ(例えば文章)で含むので,新しい方向である。さらに,METEOR(即ち,粗粒ビデオキャプションタスクで使われる)DO NOTのような以前のメトリックスは,細粒スポーツナラティブタスクによく対処し,従って,生成された言語記述が,全体的空間-時間相互作用構造だけでなく,微細粒行動の詳細を反映するかを測定する,微細粒子捕捉評価(FCE)と名付けた新しい評価尺度を開発した。著者らのSVNデータセットに関する広範な実験は,細粒チームスポーツビデオオートナティブのための提案フレームワークの有効性を実証した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *相互作用 ,  *学習 ,  言語 ,  自動操縦 ,  分解能 ,  微粒子 ,  再現性 ,  多重化 ,  捕獲 ,  *録画装置 ,  空間依存性 ,  有効性
準シソーラス用語： 被験者 ,  対話型 ,  メトリックス , 【Automatic Indexing@JST】

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (7件)： グラフ ,  粒度 ,  相互作用 ,  学習 ,  細粒 ,  ビデオ ,  キャプション