時間的テキスト連想学習のための弱い監視と参照注意【JST・京大機械翻訳】

Fang Zhiyuan; Kong Shu; Wang Zhe; Fowlkes Charless; Yang Yezhou

プレプリント

J-GLOBAL ID：202202210373885753 整理番号：22P0161898

時間的テキスト連想学習のための弱い監視と参照注意【JST・京大機械翻訳】

Weak Supervision and Referring Attention for Temporal-Textual Association Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年06月21日プレプリントサーバーでの情報更新日： 2020年06月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ビデオフレームとテキストクエリ間の関係を捉えるシステムは,より良いビデオ解析に対して大きな可能性を提供する。しかし,完全教師つき方法でのそのようなシステムの訓練は,時間的テキスト注釈付きの細心に曲がったビデオデータセットを必然的に要求する。したがって,著者らは,時間的テキスト連想(dubbed WSRA)を学習するために,著者らの提案した規範的注意機構を有するWeak-Supervised代替案を提供した。弱い監視は,ビデオレベルでのテキスト表現(例えば,短いフレーズまたは文章)であり,このビデオが関連するフレームを含むことを示した。参照する注意は,時間的にフレーム上の与えられたクエリを接地するためのスコアリング関数として作用する設計機構である。それは,より良い訓練のための複数の新しい損失とサンプリング戦略から成る。設計した機構の原理は,1)テキストクエリで固定されたビデオセグメントからの情報と識別の手がかり,2)単一ビデオと比較して複数のクエリ,3)クロスビデオ視覚類似性を考慮することにより,弱い監視を完全に活用することである。このWSRAを言語による時間的接地の広範な実験により検証し,最先端の弱教師つき手法よりも性能が優れていることを実証した。【JST・京大機械翻訳】

, , , , , ,
, , , , , , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

, ,

前のページに戻る