量子化スパイキングニューラルネットワークにおける局所最小値のナビゲーション【JST・京大機械翻訳】

Eshraghian Jason K.; Lammie Corey; Azghadi Mostafa Rahimi; Lu Wei D.

プレプリント

J-GLOBAL ID：202202205090063257 整理番号：22P0289833

量子化スパイキングニューラルネットワークにおける局所最小値のナビゲーション【JST・京大機械翻訳】

Navigating Local Minima in Quantized Spiking Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月15日プレプリントサーバーでの情報更新日： 2022年02月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

スパイキングと量子化ニューラルネットワーク(NN)は,深層学習(DL)アルゴリズムの超効率的実装のために,非常に重要になっている。しかし,これらのネットワークは,ハード閾値を適用するときの勾配信号の不在により,誤差逆伝搬を用いて訓練するとき,課題に直面している。これを克服するための広く受け入れられるトリックは,バイアス勾配推定子の使用を通して,Spikingニューラルネットワーク(SNNs)における閾値化を近似する代理勾配と,量子化ニューラルネットワーク(QNN)の閾値化を完全に迂回するStraight-Though Estimator(STEs)である。雑音の多い勾配フィードバックは簡単な教師つき学習タスクに関する合理的な性能を可能にしたが,このような雑音は損失景観における最適発見の困難さを,特に最適化の後期段階で増加させると考えられる。訓練中の学習速度(LR)を周期的にブースティングすることにより,ネットワークが,局所極小,障壁,あるいは平坦表面により到達するのが困難な,未探索解空間をナビゲートできると期待する。本論文では,量子化SNN(QSNN)に適用した重み独立適応モーメント推定と結合した余弦アニールLRスケジュールの系統的評価を行った。高精度と4ビット量子化SNNsに対するこの技術の厳密な経験的評価を,3つのデータセットにわたって行い,より複雑なデータセットに関する最先端の性能を実証した。著者らのソースコードは,このリンクで利用可能である:https://github.com/jeshraghian/QSNNs。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 脳・神経系モデル

, , ,

前のページに戻る