ミニバッチ上のコンポジショニズム重み更新によるバックプロパゲーションアルゴリズムの改善【JST・京大機械翻訳】

Paeedeh Naeem; Ghiasi-Shirazi Kamaledin

プレプリント

J-GLOBAL ID：202202209669045701 整理番号：21P0026447

ミニバッチ上のコンポジショニズム重み更新によるバックプロパゲーションアルゴリズムの改善【JST・京大機械翻訳】

Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年03月11日プレプリントサーバーでの情報更新日： 2021年01月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多くの試みは,バックプロパゲーション(BP)を改善するために有用な適応フィルタを改善するために行われた。正規化最小二乗(NLMS)は,最小二乗(LMS)から導いた最も成功したアルゴリズムの1つである。しかし,多層ニューラルネットワークへの拡張は以前には起こっていない。ここではまず,適応フィルタのスタックとして多層ニューラルネットワークを考慮することが可能であることを示した。さらに,例えば畳み込みニューラルネットワークおよびミニバッチ訓練により良好に動作する,単一完全接続(FC)層に対するアフィン射影アルゴリズム(APA)における複雑な幾何学的解釈より,NLMSのより分かりやすい解釈を導入した。この新しい視点で,著者らは,それらが起こる前にさえ,BPで起こる行動の有害な結果を予測することにより,より良いアルゴリズムを導入する。最後に,提案方法は確率的勾配降下(SGD)と互換性があり,RMSProp,Adam,およびNAGのような運動量ベースの導関数に適用できる。著者らの実験は,深いニューラルネットワークの訓練における著者らのアルゴリズムの有用性を示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , 【Automatic Indexing@JST】

音声処理

, , ,

前のページに戻る