視覚対話における共参照関係のモデリング【JST・京大機械翻訳】

Li Mingxiao; Moens Marie-Francine

プレプリント

J-GLOBAL ID：202202213556297795 整理番号：22P0299636

視覚対話における共参照関係のモデリング【JST・京大機械翻訳】

Modeling Coreference Relations in Visual Dialog

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月06日プレプリントサーバーでの情報更新日： 2022年03月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

視覚対話は,エージェントが対話履歴と画像の理解に基づく画像で接地された一連の質問に答える必要があるビジョン言語タスクである。対話における共参照関係の出現は,視覚質問応答よりも,より挑戦的なタスクになる。ほとんどの以前の研究は,より良いマルチモーダル表現を学習するか,または視覚と言語特徴の融合の異なった方法を探索することに焦点を合わせ,一方,対話における共基準は,主に無視されている。本論文では,人間対話の言語知識と議論特徴に基づいて,教師なし方法で対話における共基準を解決するモデルの能力を改良できる2つのソフト制約を提案した。VisDial v1.0データセットに関する実験結果は,深い変圧器ニューラルアーキテクチャにおける2つの新規で言語学的に触発されたソフト制約を統合する著者らのモデルが,現在の既存のモデルと比較して,1と他の評価尺度における想起に関して,他の視覚言語データセットに関する事前訓練なしで,新しい最先端の性能を得ることを示す。著者らの定性的結果はまた,著者らが提案する方法の有効性を実証した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人間機械系

, , ,

前のページに戻る