信号伝搬:フォワードパスにおける学習と推論のためのフレームワーク【JST・京大機械翻訳】

Kohan Adam; Rietman Edward A.; Siegelmann Hava T.

プレプリント

J-GLOBAL ID：202202207955722289 整理番号：22P0325220

信号伝搬:フォワードパスにおける学習と推論のためのフレームワーク【JST・京大機械翻訳】

Signal Propagation: A Framework for Learning and Inference In a Forward Pass

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月04日プレプリントサーバーでの情報更新日： 2022年11月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

逆伝搬の代替として,学習信号を伝搬し,フォワードパスを介してニューラルネットワークパラメータを更新するために,新しい学習フレームワーク,信号伝搬(シグプロップ)を提案した。シグプロップにおいて,推論と学習のための前進経路だけがある。従って,フィードバック連結性,重み輸送,または後方伝搬に基づくアプローチの下で存在する,フィードバック連結性,重み輸送,または後方パスのような推論モデル自体を超えて,学習に必要な構造的または計算上の制約はない。すなわち,シグプロップは,前進経路のみによるグローバル教師つき学習を可能にする。これは,層またはモジュールの並列訓練に理想的である。生物学では,フィードバック接続のないニューロンが大域的学習信号をどのように受け取ることができるかを説明する。ハードウェアでは,これは後方接続性のない大域的教師つき学習のためのアプローチを提供する。構築によるシグプロップは,学習制約を緩和する代替アプローチを含むバックプロパゲーションよりも,脳およびハードウェアにおける学習モデルと互換性がある。また,シグプロップは,それらよりも時間とメモリにおいてより効率的であることを示した。sigpropの挙動をさらに説明するために,シグプロップが逆伝播の文脈において有用な学習信号を提供する証拠を示した。生物学的およびハードウェア学習への関連性をさらに支持するために,著者らは,Hebbian更新による連続時間ニューラルネットワークを訓練するためにsigpropを使用し,そして,電圧のみまたは生物学的およびハードウェア互換代理機能を有する訓練ニューラルネットワークを訓練する。【JST・京大機械翻訳】

, , , , , , , , , , , , , ,

人工知能

, , , ,

前のページに戻る