抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
画像差分捕捉(IDC)タスクは,自然言語による2つの類似画像間の視覚差を記述することを目的とする。この課題の主な課題は2つの側面にある。1)より強力なビジョンと言語連想を学習する必要のある細粒視差,2)限られた教師付きデータを導くマニュアル注釈の高いコスト。これらの課題に取り組むために,予訓練微調整パラダイムに従う新しいモデリングフレームワークを提案した。特に,微細粒レベルで視覚差とテキスト記述を整列させるための3つの自己監督タスクと対照的学習戦略を設計した。さらに,利用可能な教師つきIDCデータの限界を緩和するために,細粒画像分類のためのデータのような余分な交差タスク監視情報を利用するためのデータ拡張戦略を提案した。2つのIDCベンチマークデータセット,CLEVR-ChangeとBirds-to-Wordsに関する大規模な実験は,提案したモデリングフレームワークの有効性を実証した。コードとモデルはhttps://github.com/yaolinli/IDCで放出される。【JST・京大機械翻訳】