サンプル効率の良い過剰パラメータ化Meta学習に向けて【JST・京大機械翻訳】

Sun Yue; Narang Adhyyan; Gulluk Halil Ibrahim; Oymak Samet; Fazel Maryam

プレプリント

J-GLOBAL ID：202202214332777151 整理番号：22P0275302

サンプル効率の良い過剰パラメータ化Meta学習に向けて【JST・京大機械翻訳】

Towards Sample-efficient Overparameterized Meta-learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年01月16日プレプリントサーバーでの情報更新日： 2022年01月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

機械学習におけるオーバーアーチ目標は,少数のサンプルで一般化可能なモデルを構築することである。この目的のために,データセットのサイズがモデルのそれよりも小さい場合でも,深いネットの一般化能力を説明するのに,パラメタリゼーションが大きな興味の対象となっている。事前の文献は古典的教師つき設定に焦点を合わせているが,本論文ではメタ学習のためのパラメタリゼーションを解読することを目的とする。ここでは,線形回帰タスクのシーケンスと,著者らは以下の通りである。(1)以前のタスクでは,新しい下流タスクに対する特徴の最適線形表現であり,(2)多くのサンプルが,この表現をいかに構築するかを,驚くべきことに,これらの基本的メタ学習質問に対する自然回答として,驚くほど,パラメタリゼーションが生じることを示した。具体的には,最初に,最適表現の学習は,帰納的バイアスを促進するためにタスク意識正則化を設計する問題と一致することを示した。この帰納的バイアスを利用して,少数のショット学習に関する事前の仕事とは対照的に,下流タスクが実際にパラメータ化から利益を得る方法を説明した。(2)に対して,特徴共分散が,自由度を十分下回ってサンプル複雑性をいかに低減させ,小さな推定誤差に導くかを説明する理論を開発した。次に,これらの知見を統合し,メタ学習アルゴリズムの全体的性能保証を得た。実および合成データに関する数値実験は,過パラメータ化メタ学習に関する著者らの洞察を検証した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る