AUTOMATA:計算効率の良いハイパーパラメータチューニングのための勾配ベースデータサブセット選択【JST・京大機械翻訳】

Killamsetty Krishnateja; Abhishek Guttu Sai; Aakriti; Evfimievski Alexandre V.; Popa Lucian; Ramakrishnan Ganesh; Iyer Rishabh

プレプリント

J-GLOBAL ID：202202203360531816 整理番号：22P0304862

AUTOMATA:計算効率の良いハイパーパラメータチューニングのための勾配ベースデータサブセット選択【JST・京大機械翻訳】

AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層ニューラルネットワークは近年大きな成功を見た。しかし,深層モデルの訓練は,その性能が使用されるハイパーパラメータに大きく依存するので,しばしば困難である。さらに,最先端の(SOTA)ハイパーパラメータ最適化(HPO)アルゴリズムでさえ,最適ハイパーパラメータ構成を見つけることは,時間を消費することができ,ハイパーパラメータの異なる可能なセットに対して,全データセット上で複数の訓練実行を必要とする。著者らの中心的洞察は,ハイパーパラメータ最適化に含まれるモデル訓練実行のためのデータセットの有益な部分集合を用いることが,最適ハイパーパラメータ構成を,かなり速く見つけることを可能にすることである。本研究では,ハイパーパラメータチューニングのための勾配ベース部分集合選択フレームワークであるAUTOMATAを提案した。テキスト,ビジョン,および表明領域における実世界データセットに関するいくつかの実験を通して,ハイパーパラメータチューニングにおけるAUTOMATAの有効性を実験的に評価した。著者らの実験は,ハイパーパラメータチューニングのための勾配ベースのデータサブセットを使用することが,全体のデータセットを用いて見つけられたハイパーパラメータに匹敵する性能を達成しながら,かなり速いターンアラウンド時間と3×30×の高速化を達成することを示した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る