文献

J-GLOBAL ID：202002219038713035   整理番号：20A2462470

Exemplar文による制御可能なビデオキャプション【JST・京大機械翻訳】

Controllable Video Captioning with an Exemplar Sentence

著者 (4件)： Yuan Yitian (Tsinghua University, Shenzhen, China) ,  Ma Lin (Meituan-Dianping Group, Beijing, China) ,  Wang Jingwen (Tencent AI Lab, Shenzhen, China) ,  Zhu Wenwu (Tsinghua University, Beijing, China)
資料名： ACM Proceedings  (ACM Proceedings)
号： MM ’20  ページ： 1085-1093  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,新規で挑戦的なタスク,すなわち,典型的な文章による制御可能なビデオキャプティングを研究した。形式的に,ビデオと構文的に有効な模範文を与えられた場合,タスクはビデオのセマンティックコンテンツを記述するだけでなく,与えられた模範文の構文形式に従う1つのキャプションを生成することを目的とする。そのような模範ベースのビデオキャプテーションタスクに取り組むために,符号器デコーダ再構成器アーキテクチャに組み込まれた新しいシンタックス変調キャプションジェネレータ(SMCG)を提案した。提案したSMCGは入力としてビデオ意味表現を採り,与えられた模範文の符号化構文情報に関して長い短期記憶ネットワークのゲートとセルを条件的に変調する。したがって,SMCGは単語予測の状態を制御でき,構文カスタマイズキャップ生成を達成することができる。著者らは,2つの公開ビデオキャプテーションデータセットのために,補助例文を収集することによって実験を行った。広範な実験結果は,構文制御可能および意味的保存ビデオキャップの生成に対する著者らのアプローチの有効性を実証した。異なる模範文を提供することにより,提案アプローチは,様々な構文構造で異なるキャップを生成することができ,従って,ビデオキャプテーションの多様性を強化するための有望な方法を示す。本論文のコードはhttps://github.com/yytzsy/SMCGで利用可能である。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ネットワーク ,  復号器 ,  構文論 ,  符号器 ,  再構成 ,  *録画装置 ,  有効性 ,  計算機アーキテクチャ ,  単語 ,  コンテンツ
準シソーラス用語： 例文 ,  *キャプション ,  構文 , 【Automatic Indexing@JST】

著者キーワード (2件)： 制御可能なビデオキャプテーション ,  シンタックス変調キャプションジェネレータ

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： 文 ,  ビデオ ,  キャプション