少数ショット学習における微調整のパワー化:選択サンプリングによるドメイン-アグノスティックBias低減【JST・京大機械翻訳】

Tao Ran; Zhang Han; Zheng Yutong; Savvides Marios

プレプリント

J-GLOBAL ID：202202214538619080 整理番号：22P0328171

少数ショット学習における微調整のパワー化:選択サンプリングによるドメイン-アグノスティックBias低減【JST・京大機械翻訳】

Powering Finetuning in Few-Shot Learning: Domain-Agnostic Bias Reduction with Selected Sampling

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月07日プレプリントサーバーでの情報更新日： 2022年06月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近の研究では,メタ訓練セットで訓練された深層ネットワークの利用は,少数ショット学習における強いベースラインとして役立つ。本論文では,訓練された深層ネットワークを微調整することにより,新しいクラス特徴を精密化する。微調整は,新しいクラス特徴分布におけるバイアスの低減に焦点を当て,クラス診断とクラス固有バイアスという2つの側面として定義する。クラス診断バイアスは,ドメイン差によって導入された分布シフトとして定義され,著者らは,分布較正モジュール(DCM)を提案する。DCMは,最適化の間のドメイン差と高速特徴適応を除去する良い特性を有した。クラス特異的バイアスを,新しいクラスにおける少数のサンプルを用いてバイアス推定として定義し,著者らは,選択サンプリング(SS)を縮小するために提案した。実際のクラス分布を与えることなく,SSは,サポートセットサンプル周辺の提案分布を用いてサンプリングを実行することによって設計される。DCMとSSとの微調整により,異なるドメインから10のデータセットにわたって一貫した性能ブーストを持つMeta-Datasetに関する最新の結果を達成した。この簡単で効果的な方法は,実用的な少数ショット応用に適用できる可能性を実証した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る