抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
スパイキングと量子化ニューラルネットワーク(NN)は,深層学習(DL)アルゴリズムの超効率的実装のために,非常に重要になっている。しかし,これらのネットワークは,ハード閾値を適用するときの勾配信号の不在により,誤差逆伝搬を用いて訓練するとき,課題に直面している。これを克服するための広く受け入れられるトリックは,バイアス勾配推定子の使用を通して,Spikingニューラルネットワーク(SNNs)における閾値化を近似する代理勾配と,量子化ニューラルネットワーク(QNN)の閾値化を完全に迂回するStraight-Though Estimator(STEs)である。雑音の多い勾配フィードバックは簡単な教師つき学習タスクに関する合理的な性能を可能にしたが,このような雑音は損失景観における最適発見の困難さを,特に最適化の後期段階で増加させると考えられる。訓練中の学習速度(LR)を周期的にブースティングすることにより,ネットワークが,局所極小,障壁,あるいは平坦表面により到達するのが困難な,未探索解空間をナビゲートできると期待する。本論文では,量子化SNN(QSNN)に適用した重み独立適応モーメント推定と結合した余弦アニールLRスケジュールの系統的評価を行った。高精度と4ビット量子化SNNsに対するこの技術の厳密な経験的評価を,3つのデータセットにわたって行い,より複雑なデータセットに関する最先端の性能を実証した。著者らのソースコードは,このリンクで利用可能である:https://github.com/jeshraghian/QSNNs。【JST・京大機械翻訳】