抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
画像捕捉は,クロスモーダル理解とテキスト生成に関して,視覚と言語を接合する基本的タスクである。近年,画像キャプテーションに関する新たな注目が出ている。既存の研究の多くは従来の2段階訓練パラダイムに従う。キャプテーションモデルを訓練する前に,余分な物体検出器を用いて,最初に画像中の物体を認識する。しかし,それらは,オブジェクト検出器を訓練するための微細粒オブジェクトアノテーションを有するサイズ可能なデータセットを必要とし,それは困難なタスクである。さらに,オブジェクト検出器の誤差は,次のキャプションモデル,デジェネレーションモデルの性能に伝播するのが容易である。そのような欠陥を軽減するために,事前訓練された視覚符号器(CLIP-ViT)と言語復号器(GPT2)を接続することによって,信頼的に単純だが高度に効果的なエンドツーエンド画像キャプティングフレームワーク,Visual Conditioned GPT(VC-GPT)を提案する。GPT2にクロスアテンションモジュールを直接挿入するバニラ接続法と異なり,単一およびクロスモーダル知識の両方を包括的に考慮する自己アンサンブル交差モード融合機構により,著者らは,アップした。結果として,モデル訓練のための余分なオブジェクト検出器を必要としない。3つのポピュラーな画像キャプテーションベンチマーク(MSCOCO,Flickr30kおよびNoCaps)に関して行った実験結果は,著者らのVC-GPTが,広範囲なベースラインシステムにわたって,すべての評価計量にわたって,最良または2番目の性能のいずれかを達成することを実証した。【JST・京大機械翻訳】
