ランダムに打ち上げられたニューラルネットワークの神経接線カーネル解析について【JST・京大機械翻訳】

Yang Hongru; Wang Zhangyang

プレプリント

J-GLOBAL ID：202202206589450118 整理番号：22P0310978

ランダムに打ち上げられたニューラルネットワークの神経接線カーネル解析について【JST・京大機械翻訳】

On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月27日プレプリントサーバーでの情報更新日： 2023年03月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

理論と実践の両方によって動機づけられて,著者らは,重みのランダム剪定がニューラルネットワークの神経正接カーネル(NTK)にどう影響するかを研究する。特に,本研究は,完全接続ニューラルネットワークとそのランダム剪定版の間のNTKの等価性を確立した。等価性を2つの事例の下で確立した。最初の主な結果は,無限幅漸近である。枝刈り確率を与えると,初期化でランダムに枝分かれした重みを持つ完全接続ニューラルネットワークに対して,各層の幅が無限に成長するにつれて,枝刈りニューラルネットワークのNTKは,いくつかの余分のスケーリングで元のネットワークの制限NTKに収束することを示した。ネットワーク重みが剪定後に適切に再スケールされるならば,この余分なスケーリングを除去できる。第二の主な結果は,有限幅ケースを考慮する。限界に対するNTKの近接性を確保するために,その限界に対するNTKのギャップがゼロになるので,スパース性パラメータに対する幅の依存性が漸近的に線形であることを示した。さらに,枝刈り確率がゼロに設定されるならば,必要な幅に関する限界は,対数的因子までの以前の研究における完全連結ニューラルネットワークの結合に整合する。この結果の証明は,マスク誘起擬似ネットワークと呼ばれるネットワーク構造の新しい解析を開発することを必要とする。実験を行いその結果を評価した。【JST・京大機械翻訳】

, , , , , ,
, , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能 , パターン認識

, , , ,

前のページに戻る