文献

J-GLOBAL ID：201702214370155815   整理番号：17A0855692

適応ハイパーパラメータ最適化を用いた深い生成モデルを前訓練【Powered by NICT】

Pre-training the deep generative models with adaptive hyperparameter optimization

著者 (4件)： Yao Chengwei (College of Computer Science and Technology, Zhejiang University, China) ,  Cai Deng (The state key lab of CAD&CG, College of Computer Science and Technology, Zhejiang University, China) ,  Bu Jiajun (College of Computer Science and Technology, Zhejiang University, China) ,  Chen Gencai (College of Computer Science and Technology, Zhejiang University, China)
資料名： Neurocomputing  (Neurocomputing)
巻： 247  ページ： 144-155  発行年： 2017年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 多くの機械学習アルゴリズムの性能を,ハイパーパラメータ設定に決定的に依存し,特に深層学習。手動ハイパーパラメータを調整することは労力と時間がかかる。この問題に対処するために,Bayes最適化(BO)法とその拡張を自動的にハイパーパラメータを最適化するために提案した。しかし,ブラックボックス関数最適化の戦略による深い生成モデル(DGMs)に適用した場合,依然として高計算コストに悩まされている。DGMsのトレーニング前相,layer-by-layer学習戦略を利用することにより,一つのブラックボックス関数として全層を組み合わせた回避で新しいハイパーパラメータ最適化手順を提供した。この手順に従って,Gauss過程を用いた適応方法で多重ハイパーパラメータを最適化することができる。従来のBO法,主に教師つきモデルに焦点を当てとは対照的に,検証誤差が使用できないが事前学習手順である教師なし。この問題を緩和するために,本論文では,新しいホールドアウト損失,自由エネルギーギャップ,モデルの両因子フィッティングと過剰適合を考慮に入れたを提案した。経験的評価により,提案手法では,ハイパーパラメータ最適化のプロセスを加速するだけでなく,教師つきおよび教師なし学習タスクの両方でDGMsの性能を大幅に改善することを示した。Copyright 2017 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【Powered by NICT】

シソーラス用語： 多重化 ,  学習アルゴリズム ,  学習 ,  *最適化 ,  自由エネルギー ,  ブラックボックス ,  Gauss過程
準シソーラス用語： 経験的評価 ,  事前学習 ,  学習戦略 ,  計算コスト ,  関数最適化 ,  深層学習 ,  *生成モデル ,  *ハイパーパラメータ , 【Automatic Indexing@JST】

著者キーワード (4件)： 深部生成モデル ,  ハイパーパラメータ最適化 ,  逐次モデルベースの最適化 ,  対照的発散

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 適応 ,  ハイパーパラメータ ,  最適化 ,  生成モデル ,  訓練