SeqTR:視覚的接地のための単純でユニバーサルなネットワーク【JST・京大機械翻訳】

Zhu Chaoyang; Zhou Yiyi; Shen Yunhang; Luo Gen; Pan Xingjia; Lin Mingbao; Chen Chao; Cao Liujuan; Sun Xiaoshuai; Ji Rongrong

プレプリント

J-GLOBAL ID：202202214358033690 整理番号：22P0322486

SeqTR:視覚的接地のための単純でユニバーサルなネットワーク【JST・京大機械翻訳】

SeqTR: A Simple yet Universal Network for Visual Grounding

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (10件)： , , , , , , , , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2022年07月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

本論文では,視覚接地タスク,例えばフレーズ位置確認,参照表現理解(REC)およびセグメンテーション(RES)のためのSeqTRと呼ばれる単純だが普遍的なネットワークを提案した。視覚接地のための正準パラダイムは,しばしばネットワークアーキテクチャと損失機能を設計する際に実質的な専門知識を必要とし,タスクを横断して一般化するのを困難にする。モデリングを単純化し統一するために,画像とテキスト入力に条件付けされた点予測問題として視覚接地をキャストし,そこでは,境界ボックスまたはバイナリマスクのいずれかを離散座標トークンのシーケンスとして表現した。このパラダイムの下で,視覚接地タスクは,タスク特有の分岐やヘッド,例えばRESのための畳込みマスク復号器なしで,著者らのSeqTRネットワークで統一され,マルチタスクモデリングの複雑性を大幅に削減する。さらに,SeqTRは,単純な交差エントロピー損失を伴うすべてのタスクに対して同じ最適化目的を共有し,さらに手作業損失関数の展開の複雑さを低減する。5つのベンチマークデータセットに関する実験は,提案したSeqTRが,既存の最先端技術よりも性能が優れていて,視覚接地のための単純だが普遍的なアプローチが実際に実現可能であることを証明した。ソースコードはhttps://github.com/sean zhuh/SeqTRで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , , , , ,

図形・画像処理一般 , パターン認識 , 人工知能

, ,

前のページに戻る