CARETS:VQAのための一貫性とロバスト性評価試験スイート【JST・京大機械翻訳】

Jimenez Carlos E.; Russakovsky Olga; Narasimhan Karthik

プレプリント

J-GLOBAL ID：202202215549261095 整理番号：22P0304263

CARETS:VQAのための一貫性とロバスト性評価試験スイート【JST・京大機械翻訳】

CARETS: A Consistency And Robustness Evaluative Test Suite for VQA

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月14日プレプリントサーバーでの情報更新日： 2022年03月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

CARETSを導入し,一連の6つの細粒能力試験を通して,現代VQAモデルの一貫性とロバスト性を測定する系統的テストスイートである。既存のVQA試験セットとは対照的に,CARETSは,再phr,論理的対称性または画像混乱のような特定の能力に焦点を当てた各ペアで,モデルに対するインスタンスのペアを生成するため,質問生成をバランスさせた。CARETSに関する6つの最新のVQAシステムを評価し,モデル理解におけるいくつかの行動可能な弱点,特に,否定,分離,あるいはハイパーニム不変性のような概念を同定した。面白いことに,最も洗練されたモデルでさえ,質問で言及された回答選択の数を変えるか,または変化するという観点の順番を交換するような側面に敏感である。CARETSはマルチモーダルモデルロバスト性を評価するための拡張可能なツールとして使用される。【JST・京大機械翻訳】

, , , , , , ,
, 【Automatic Indexing@JST】

図形・画像処理一般 , 情報検索一般 , その他の情報処理 , 自然語処理 , 人工知能

前のページに戻る