VU-BERT:視覚的対話のための統一フレームワーク【JST・京大機械翻訳】

Ye Tong; Si Shijing; Wang Jianzong; Wang Rui; Cheng Ning; Xiao Jing

プレプリント

J-GLOBAL ID：202202212617169560 整理番号：22P0293399

VU-BERT:視覚的対話のための統一フレームワーク【JST・京大機械翻訳】

VU-BERT: A Unified framework for Visual Dialog

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年02月22日プレプリントサーバーでの情報更新日： 2022年02月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

視覚対話タスクは,画像と対話履歴の間の相互作用の深い理解を必要とする,画像を与えるマルチターン質問に答えるエージェントを訓練することを試みた。既存の研究は,その相互作用をモデル化するためのモダリティ特異的モジュールを使用する傾向があり,それは,使用に厄介であるかもしれない。このギャップを埋めるために,VU-BERTと名付けた画像-テキスト結合埋込みのための統一フレームワークを提案し,まず,モデルを単純化するために視覚的対話タスクにおける視覚埋込みを得るためにパッチ投影を適用した。モデルは,マスクされた言語モデリングと次の発話検索という2つのタスクで訓練された。これらのタスクは視覚概念,発話依存性,これら2つのモダリティ間の関係を学習するのに役立つ。最後に,VU-BERTはVisDial v1.0データセット上で競合性能(0.7287NDCGスコア)を達成した。【JST・京大機械翻訳】

, , , , , ,
, , 【Automatic Indexing@JST】

人間機械系 , パターン認識

, , ,

前のページに戻る