”This is My Unicorn,Fluffy”:凍結視覚-言語表現の個人化【JST・京大機械翻訳】

Cohen Niv; Gal Rinon; Meirom Eli A.; Chechik Gal; Atzmon Yuval

プレプリント

J-GLOBAL ID：202202204877681032 整理番号：22P0325191

”This is My Unicorn,Fluffy”:凍結視覚-言語表現の個人化【JST・京大機械翻訳】

"This is my unicorn, Fluffy": Personalizing frozen vision-language representations

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年04月04日プレプリントサーバーでの情報更新日： 2022年08月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Webスケールデータに事前訓練された大きなビジョンと言語モデルは,多数のV&L問題に対して貴重な表現を提供する。しかし,非構造化言語におけるユーザ固有の視覚概念に関する推論のために,どのように使用できるかは不明である。この問題は,個人化された画像検索からスマートデバイスとの個別化インタラクションまでの複数のドメインで生じる。ユーザ特有の”個人化”概念”野生”を検索し,セグメンテーションするための2つの新しいベンチマークデータセットを持つ個人化ビジョン&言語(PerVL)と呼ぶ新しい学習セットアップを導入した。PerVLでは,1つは,個人化された概念(1)を,下流タスク(2)とは独立に学習し,自由言語によるそれらについての事前訓練モデルを可能にし,(3)個人化陰性例を必要としない。新しい個人化概念のために新しい単語埋込みで事前訓練されたモデルの入力語彙を拡張することにより動作するPerVLを解くためのアーキテクチャを提案する。モデルは,次に,それらを文章で簡単に用いて,それらの理由を推論できる。提案アプローチは,少数の例から個人化された視覚概念を学習し,豊富なテキストクエリを用いて画像検索および意味セグメンテーションにそれらを効果的に応用できることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

人工知能 , 図形・画像処理一般 , 自然語処理

, , , ,

前のページに戻る