勾配ベースMeta学習のための多段階推定【JST・京大機械翻訳】

Kim Jin-Hwa; Park Junyoung; Choi Yongseok

プレプリント

J-GLOBAL ID：202202210805265530 整理番号：22P0156378

勾配ベースMeta学習のための多段階推定【JST・京大機械翻訳】

Multi-step Estimation for Gradient-based Meta-learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年06月07日プレプリントサーバーでの情報更新日： 2020年06月07日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

勾配ベースのメタ学習手法は,少数ショット学習,転送学習,および広範囲の他のドメインで成功している。その有効性と単純さにもかかわらず,大きなメモリフットプリントを有するHessian行列を計算する負荷は,大規模アプリケーションにおける重大な課題である。この問題に取り組むために,著者らは,内部ステップのウィンドウにおいて同じ勾配を再利用することによって,コストを削減するための簡単で直接的な方法を提案した。Lagrange形式における多段階推定の動力学を記述し,動力学を推定する二次導関数を評価する方法を論じた。この方法を検証するために,多重設定のためのメタ転送学習と少数ショット学習タスクについて実験を行った。メタ転送に関する実験は,他の近似が制限される,訓練メタネットワークの適応性を強調する。少数ショット学習に対して,一般的なベースラインと比較して時間とメモリの複雑さを評価した。提案手法は,訓練時間とメモリ利用を著しく減らし,競合精度を維持するか,または,いくつかの場合でさえ優れていることを示す。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る