S=3NN:エネルギー効率の良い単一ステップスパイキングニューラルネットワークの訓練のためのスパイク代理勾配の時間ステップ低減【JST・京大機械翻訳】

Suetake Kazuma; Ikegawa Shin-ichi; Saiin Ryuji; Sawada Yoshihide

プレプリント

J-GLOBAL ID：202202202300262828 整理番号：22P0280039

S=3NN:エネルギー効率の良い単一ステップスパイキングニューラルネットワークの訓練のためのスパイク代理勾配の時間ステップ低減【JST・京大機械翻訳】

S$^3$NN: Time Step Reduction of Spiking Surrogate Gradients for Training Energy Efficient Single-Step Spiking Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月26日プレプリントサーバーでの情報更新日： 2023年02月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルネットワークの規模が増加するにつれて,低い計算コストとエネルギー効率で実行することを可能にする技術が必要である。このような要求から,スパイキングニューラルネットワーク(SNN)やバイナリニューラルネットワーク(BNN)のような様々な効率的なニューラルネットワークパラダイムが提案されている。しかし,それらは,劣化推論精度と待ち時間のような粘着性の欠点を持っている。これらの問題を解決するために,低い計算コストと高精度を持つエネルギー効率の良いニューラルネットワークである一段階スパイキングニューラルネットワーク(S ̄3NN)を提案した。提案したS ̄3NNは,SNNとしてスパイクによる隠れ層の間の情報を処理する。それにもかかわらず,BNNとして訓練と推論フェーズ内に潜伏期がないように,時間的次元はない。したがって,提案したS ̄3NNは,時系列処理を必要とするSNNよりも計算コストが低い。しかし,S ̄3NNは,スパイクの非微分性のために,ナイーブバックプロパゲーションアルゴリズムを採用できない。複数時間ステップSNNの代理勾配を単一時間ステップに低減することにより,適切なニューロンモデルを推論した。得られた代理勾配がS ̄3NNを適切に訓練することを可能にすることを実験的に示した。また,提案したS ̄3NNは,高エネルギー効率で,全精度ネットワークに匹敵する精度を達成できることを示した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 脳・神経系モデル , 人工知能

, , , , ,

前のページに戻る