SGDと適応学習ルールにより学習される表現:ニューラルネットワークにおけるスパース性と選択性が変化する条件【JST・京大機械翻訳】

Park Jin Hyun

プレプリント

J-GLOBAL ID：202202211777576106 整理番号：22P0280813

SGDと適応学習ルールにより学習される表現:ニューラルネットワークにおけるスパース性と選択性が変化する条件【JST・京大機械翻訳】

Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural network

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (1件)：
資料名：
発行年： 2022年01月25日プレプリントサーバーでの情報更新日： 2024年02月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

人間の脳の観点から,継続的な学習は,相互干渉なしで様々なタスクを実行することができる。相互干渉を低減する有効な方法は,ニューロンのスパース性と選択性で見出すことができる。Aljundi et al.とHadsell et al.に従って,スパースニューロン活性化がパラメータ間のより少ない重なりを奨励し,より少ない干渉をもたらすので,表現レベルにおけるスパース性は連続学習にとって有利であった。同様に,高度に選択的なニューラルネットワークは,ニューロンにおける特定の応答が,他のパラメータと重複する機会を減らすので,より少ない干渉を誘発する可能性がある。人間の脳が寿命にわたって継続的な学習を行うと考慮して,スパース性と選択性が自然に起こる条件を見つけることは,脳機能がどのように機能するかを理解する上で洞察を提供する可能性がある。本論文では,ニューラルネットワークにおけるスパース性と選択性を自然に増加させる様々な条件を検討した。本論文は,MNIST分類タスクにおけるHoyerのスパース性計量とCCMAS選択性計量を有する種々の最適化者をテストした。様々な条件に関するスパース性と選択性の自然発生に関する研究は,この日まで神経科学や機械学習のどの部門でも認められていない。本論文では,特定の条件が,大きな学習速度の適用およびバッチサイズの低下のような,スパース性と選択性を増加させることを見出した。条件,スパース性,および選択性の間の関係に加えて,以下のことを,経験的分析に基づいて議論した。スパース性と選択性および2の間の関係。テスト精度,スパース性,および選択性の間の関係。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , 脳・神経系モデル

, , , , , ,

前のページに戻る