抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
マルチモーダル入力が2つの特徴空間内にあるので,視覚質問に答えることは挑戦的なタスクである。さらに,視覚質問回答における推論は,画像と質問の両方を理解するためのモデルを必要とし,質問-回答対に関する単純な記憶統計よりも,むしろ同じ空間でそれらを整列させる。したがって,より良い注意を達成するために,異なるモダリティと各モダリティ間の成分接続を見つけることが重要である。以前の研究は,特徴に関して直接注意重みを学習した。しかしながら,これらの2つのモダリティ特徴が2つのドメインにあるので,改善は制限される:画像特徴は,言語として構造や文法的規則を欠いている,そして,自然言語特徴は,詳細な情報を欠いている確率が高い。視覚とテキストの間の注意をより良く学習するために,著者らは入力層化を構築して,異なるレベル成分間のアラインメントを改善するために構造情報を埋め込む方法に焦点を合わせた。著者らは,マルチ粒状性アラインメントによってイントラおよびインターモーダル相関を学習し,決定融合モジュールによって最終結果を出力する,Visual Quession Answingタスク(MGA-VQA)のためのマルチ-Granularity Alignmentアーキテクチャを提案する。以前の研究とは対照的に,著者らのモデルは,追加データおよびアノテーションを必要とせずに,より良い相関を学習するために,異なるレベルへのアラインメントを分割する。VQA-v2およびGQAデータセットに関する実験は,著者らのモデルが,余分な事前訓練データおよびアノテーションなしで,両方のデータセットに関して,非事前訓練最先端技術を著しく凌駕することを示した。さらに,それはGQAに関する事前訓練方法に関してより良い結果を達成した。【JST・京大機械翻訳】
