文献

J-GLOBAL ID：202002210991603322   整理番号：20A0863236

ニューラルネットへの応用による過剰パラメータ化非線形最適化【JST・京大機械翻訳】

Overparameterized Nonlinear Optimization with Applications to Neural Nets

著者 (1件)： Oymak Samet (University of California, Riverside,Department of Electrical and Computer Engineering,Riverside,CA,USA)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： SampTA  ページ： 1-4  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： Occamのrazは基本的な問題解決の主なものであり,一つは最も簡単な可能な説明を求めるべきである。実際に,(スパース)線形回帰のような古典的機械学習モデルは,可能な限り少数のパラメータを用いることによりデータへの簡単な説明を見出すことを目的としている。一方,深いネットワークのような現代の技術は,モデルサイズが訓練データセットのサイズを超える過パラメータ化領域でしばしば訓練される。これは過剰適合のリスクと説明の複雑さを増加させるが,深いネットワークは良い一般化特性を持つことが知られている。本論文では,このパラドックスを解くためのステップを取り上げた。勾配降下のような一次法により見出された解は,他の全ての解の間でアルゴリズムの初期化に近い距離を持つ性質を持つことを示した。また,最短距離特性が最も簡単な説明のための良い代理であることを提唱した。ニューラルネット訓練に対するこれらの結果の意味を論じ,いくつかの優れた課題を強調した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 学習モデル ,  アルゴリズム ,  問題解決 ,  ネットワーク ,  逆理 ,  *ニューラルネットワーク ,  パラメタリゼーション
準シソーラス用語： 訓練データ ,  線形回帰 ,  *非線形最適化 , 【Automatic Indexing@JST】

分類 (5件)： NMR一般  (BM07041R) ,  専用演算制御装置  (JC04030Y) ,  図形・画像処理一般  (JE04010I) ,  音声処理  (JE05000E) ,  医用画像処理  (JE04020T)

タイトルに関連する用語 (4件)： ニューラルネット ,  応用 ,  パラメータ化 ,  非線形最適化