PruneとTuneアンサンブル:スパース独立サブネットワークによる低コストアンサンブル学習【JST・京大機械翻訳】

Whitaker Tim; Whitley Darrell

プレプリント

J-GLOBAL ID：202202206816500062 整理番号：22P0294394

PruneとTuneアンサンブル:スパース独立サブネットワークによる低コストアンサンブル学習【JST・京大機械翻訳】

Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月23日プレプリントサーバーでの情報更新日： 2022年03月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

アンサンブル学習は機械学習における一般化を改善するための有効な方法である。しかし,最先端のニューラルネットワークが大きくなると,いくつかの独立したネットワークを訓練することに関連した計算コストは,高価になる。スクラッチから複数のモデルを訓練する必要なしに,ニューラルネットワークの多様な集合を生成するための高速,低コスト法を導入した。著者らは,単一親ネットワークを最初に訓練することによってこれを行う。次に,親のクローニングにより子供ネットワークを作成し,各子供のパラメータを劇的に剪定し,ユニークで多様なトポロジーを持つメンバーの集合を作成した。次に,小数の時代のために各子供ネットワークを手短に訓練し,それは,現在,スクラッチからの訓練と比較して,かなり速く収束する。著者らは,反ランダム剪定と1サイクル調整の使用を含む,子供ネットワークにおける多様性を最大化するための様々な方法を探究した。この多様性は,訓練コストの一部で従来のアンサンブルと競合する結果を達成するために,”PruneとTune”アンサンブルを可能にする。このアプローチを最新の低コストアンサンブル法に対してベンチマークし,CIFAR-10とCIFAR-100に関する精度と不確実性推定の両方の顕著な改良を示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る