非トリミングビデオからの学習:階層的一貫性による自己教師付きビデオ表現学習【JST・京大機械翻訳】

Qing Zhiwu; Zhang Shiwei; Huang Ziyuan; Xu Yi; Wang Xiang; Tang Mingqian; Gao Changxin; Jin Rong; Sang Nong

プレプリント

J-GLOBAL ID：202202216859201498 整理番号：22P0327439

非トリミングビデオからの学習:階層的一貫性による自己教師付きビデオ表現学習【JST・京大機械翻訳】

Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (9件)： , , , , , , , ,
資料名：
発行年： 2022年04月06日プレプリントサーバーでの情報更新日： 2022年04月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然ビデオは,自己監督学習のための豊富な視覚コンテンツを提供する。しかし,空間時間表現を学習するほとんどの既存の手法は,手動トリミングビデオに依存し,視覚パターンにおける限られた多様性と限られた性能利得をもたらす。本研究では,非トリミングビデオにおけるより豊富な情報を活用することにより表現を学習することを目的とした。この目的のために,ビデオにおける一貫性の階層構造,すなわち,短い時間スパンで分離するときに視覚的に類似である傾向があり,長い時間スパンで分離するときに類似の話題を共有するように,視覚的一貫性と局所整合性を学習することを提案する。特に,階層的一貫性学習フレームワークHiCoを提示し,そこでは,視覚的に一貫したペアを,コントラスト学習を通して同じ表現を持つように奨励し,一方,局所整合ペアを,それらが主題に関連するかどうかを区別する局所分類器を通して結合させた。さらに,提案した階層的一貫性学習のための段階的サンプリングアルゴリズムを課し,その理論的優位性を実証した。経験的に,HiCoが非トリミングビデオ上でより強い表現を生成するだけでなく,トリミングビデオに適用した場合,表現品質も改善することを示した。これは,非トリミングビデオから適切な表現を学習できない標準コントラスト学習と対照的である。【JST・京大機械翻訳】

, , , , , , , , , , ,

図形・画像処理一般

, , , , , ,

前のページに戻る