2つの隠れ層ニューラルネットワークのロバストで資源効率の良い同定【JST・京大機械翻訳】

Fornasier Massimo; Fornasier Massimo; Klock Timo; Rauchensteiner Michael

文献

J-GLOBAL ID：202202280260000760 整理番号：22A0770634

2つの隠れ層ニューラルネットワークのロバストで資源効率の良い同定【JST・京大機械翻訳】

Robust and Resource-Efficient Identification of Two Hidden Layer Neural Networks

出版者サイト複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=22A0770634&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=22A0770634&from=J-GLOBAL&jstjournalNo=W4197A") }}

著者 (4件)： , , ,
資料名：
巻： 55 号： 1 ページ： 475-536 発行年： 2022年
JST資料番号： W4197A ISSN： 0176-4276 資料種別：逐次刊行物 (A)
記事区分：原著論文発行国：ドイツ (DEU) 言語：英語 (EN)

[数式:原文を参照]上のタイプ[数式:原文を参照]の2つの完全非線形層ニューラルネットワークの構造同定と均一近似,そこでは,少数のクエリサンプルから[数式:原文を参照],および[数式:原文を参照]を取り上げた。本論文で示した2つの隠れ層の事例の解は,さらに深いニューラルネットワークに一般化できるので重要である。ネットワークのHessianにアクティブな有限差分近似をサンプリングすることによりこの問題にアプローチした。いくつかの近似Hessiansは,第1層の活性化関数に依存する対角行列[数式:原文を参照]に対して,第1層と第2層の重みを[数式:原文を参照],[数式:原文を参照]として適切な組合せにより形成した,もつれた対称テンソル[数式:原文を参照]と共に,第1層の重みにより形成される対称テンソル[数式:原文を参照]によりスパンされた行列部分空間[数式:原文を参照]を,確実に近似することを可能にする。次に,[数式:原文を参照]内の1ランク対称テンソルの同定を,ロバスト非線形プログラムの解により行い,ユニットFrobenius球上で制約された競合者のスペクトルノルムを最大化した。事後検証可能な条件下で安定な回復の保証を提供した。一度1ランク対称テンソル[数式:原文を参照]を計算すると,第1または第2層([数式:原文を参照]は第1層に起因する)に対する正しい属性に取り組んだ。層に対する属性は,現在,半発見的推論に基づいているが,信頼できる実行の明白な可能性を示す。[数式:原文を参照]のそれぞれの層への正しい属性とその結果としてのネットワークの脱パラメータ化により,適切に適応した勾配降下反復を用いて,固有対称性まで,第一層の活性化関数のシフトを推定でき,マトリックス[数式:原文を参照]を正確に計算した。最終的に,ベクトル[数式:原文を参照]と[数式:原文を参照]の1つは,単純な代数的操作によって,重み[数式:原文を参照]を解きほぐことができる。ネットワークの重みの同定の方法は,定量化可能なサンプル複雑性で,完全に建設的であり,従って,ネットワーク訓練相のブラックボックス特性に貢献する。広範な数値実験によって理論的結果を裏付け,提案アルゴリズムパイプラインの有効性と実現可能性を確認した。Copyright The Author(s) 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

著者キーワード (6件)： , , , , ,

人工知能 , ニューロコンピュータ

, , , ,

前のページに戻る