視覚即時チューニング【JST・京大機械翻訳】

Jia Menglin; Tang Luming; Chen Bor-Chun; Cardie Claire; Belongie Serge; Hariharan Bharath; Lim Ser-Nam

プレプリント

J-GLOBAL ID：202202206657277683 整理番号：22P0308769

視覚即時チューニング【JST・京大機械翻訳】

Visual Prompt Tuning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月22日プレプリントサーバーでの情報更新日： 2022年07月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練モデルの適応における現在のモドスオペランドは,全てのバックボーンパラメータ,すなわち完全微調整を更新することを含む。本論文では,視覚における大規模変換機モデルのための完全微調整に対する効率的で効果的な代替法としてVisual Prompt Tuning(VPT)を導入した。大規模言語モデルを効率的に調整する最近の進展からのインスピレーションを取り上げて,VPTは,モデルバックボーンを凍結しながら,入力空間における訓練可能パラメータの少量(モデルパラメータの1%未満)だけを導入した。多様な下流認識タスクに関する広範な実験により,VPTが他のパラメータ効率的同調プロトコルと比較して,顕著な性能利得を達成することを示した。最も重要なことに,VPTは,モデル容量と訓練データスケールを横断して,多くの事例で完全な微調整を凌駕し,一方,タスク当たりのストレージコストを削減する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

前のページに戻る