学習と一般化の測度としての準直交性と固有次元【JST・京大機械翻訳】

Zhou Qinghua; Gorban Alexander N.; Mirkes Evgeny M.; Bac Jonathan; Zinovyev Andrei; Tyukin Ivan Y.

プレプリント

J-GLOBAL ID：202202214165467315 整理番号：22P0322908

学習と一般化の測度としての準直交性と固有次元【JST・京大機械翻訳】

Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2022年03月30日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層ニューラルネットワークのような学習機械の最良のアーキテクチャを見出すことは,よく知られた技術的および理論的課題である。Mellor et al(2021)による最近の研究は訓練されたネットワークの精度とランダムに初期化されたネットワークで定義されたいくつかの容易に計算可能な測度の値の間に相関が存在することを示し,訓練なしで数十万の神経アーキテクチャを探索できるかもしれない。Mellorらは,そのような測度としてすべてのReLUニューロンで評価されたHamming距離を使用した。これらの知見に動機づけられて,本研究では,与えられた神経アーキテクチャの成功の決定因子として使用できる,他のおよびおそらくより原則のある測度の存在の疑問を尋ねた。特に,ニューラルネットワークの特徴空間の次元と準直交性が訓練後のネットワークの性能と相関できるかどうかについて調べた。著者らは,Mellor et alとしてセットアップを用いて,次元と準直交性がネットワークの性能判別として一緒に機能することを示した。ニューラルアーキテクチャ検索を加速する新しい機会の提供に加えて,著者らの知見は,ネットワークの最終性能とそれらのランダムに初期化された特徴空間の特性,即ち,データ次元と準直交性の間の重要な関係を示唆する。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

, , , , ,

前のページに戻る