VGSE:ゼロショット学習のための視覚的に接地された意味論的埋込み【JST・京大機械翻訳】

Xu Wenjia; Xian Yongqin; Wang Jiuniu; Schiele Bernt; Akata Zeynep

プレプリント

J-GLOBAL ID：202202202011559588 整理番号：22P0307094

VGSE:ゼロショット学習のための視覚的に接地された意味論的埋込み【JST・京大機械翻訳】

VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月19日プレプリントサーバーでの情報更新日： 2023年05月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

人間注釈付き属性は,ゼロショット学習における強力な意味埋込みとして役立つ。しかし,それらのアノテーションプロセスは労働集約的であり,専門家の監督を必要とする。現在の教師なし意味埋込み,すなわち単語埋込みはクラス間の知識移転を可能にする。しかし,単語埋込みは視覚的類似性を必ずしも反映せず,劣ったゼロショット性能をもたらす。ゼロショット学習のための弁別的視覚特性を含む意味埋込みを発見することを提案し,人間アノテーションを要求しない。著者らのモデルは視覚的類似性に従って局所画像領域のクラスタに見えるクラスから一連の画像を視覚的に分割し,さらにそれらのクラス識別と意味的関連性を課す。これらのクラスタを以前に見えないクラスと関連付けるために,外部知識,例えば単語埋込みを用いて,新しいクラス関係発見モジュールを提案した。定量的および定性的評価を通して,著者らは,著者らのモデルが,見えるおよび見えないクラスの視覚特性をモデル化する意味的埋込みを発見することを示した。さらに,視覚的に接地した意味埋込みが,大きなマージンにより様々なZSLモデルにわたって単語埋込みよりも性能をさらに改善するという3つのベンチマークを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , パターン認識

, , , , ,

前のページに戻る