少数ショット学習のためのMAMLと理論にヒントを得たニューラルアーキテクチャ探索の大域的収束【JST・京大機械翻訳】

Wang Haoxiang; Wang Yite; Sun Ruoyu; Li Bo

プレプリント

J-GLOBAL ID：202202207344374218 整理番号：22P0305787

少数ショット学習のためのMAMLと理論にヒントを得たニューラルアーキテクチャ探索の大域的収束【JST・京大機械翻訳】

Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月17日プレプリントサーバーでの情報更新日： 2022年03月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

モデル診断メタ学習(MAML)とその変形は,少数ショット学習のための一般的なアプローチになった。しかし,深いニューラルネット(DNN)の非凸性とMAMLのバイレベル定式化のために,DNNを有するMAMLの理論的特性は,ほとんど未知のままである。本論文では,まず,過パラメータ化DNNを持つMAMLが線形速度で大域的最適に収束することを保証した。著者らの収束解析は,過パラメータ化DNNを有するMAMLが,Metaニューラルタンジェントカーネル(MetaNTK)と呼ばれる新しいクラスのカーネルによるカーネル回帰と等価であることを示した。次に,アーキテクチャをランク付けし選択するためにMetaNTKを使用する少数ショット学習のための新しい訓練フリーニューラルアーキテクチャ探索(NAS)法であるMetaNTK-NASを提案した。経験的に,著者らのメタNTK-NASを,2つの一般的な少数ショット学習ベンチマーク,ミニImageNet,およびタイドImageNetに関する以前のNAS法と比較した。MetaNTK-NASの性能は,数ショット学習用に設計した最先端のNAS法と同等かそれ以上であり,100x以上の高速化を楽しんでいることを示した。著者らは,MetaNTK-NASの効率が,多くの実世界タスクに対して,より実用的であると信じる。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

, , , ,

前のページに戻る