ランダム行列を用いたMEM-DFAによるO(1)メモリにおけるDNNの訓練【JST・京大機械翻訳】

Chu Tien; Mykitiuk Kamil; Szewczyk Miron; Wiktor Adam; Wojna Zbigniew

プレプリント

J-GLOBAL ID：202202204955162926 整理番号：22P0219868

ランダム行列を用いたMEM-DFAによるO(1)メモリにおけるDNNの訓練【JST・京大機械翻訳】

Training DNNs in O(1) memory with MEM-DFA using Random Matrices

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年12月21日プレプリントサーバーでの情報更新日： 2020年12月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本研究では,深層ニューラルネットワークを訓練するとき,メモリ消費を一定の複雑さに低減する方法を示した。アルゴリズムは,逆伝搬(BP)のより生物学的に妥当な代替案に基づいている:直接フィードバックアラインメント(DFA)とフィードバックアラインメント(FA),それは誤差を伝播するためにランダム行列を使用する。提案方法,メモリ効率の良い直接フィードバックアラインメント(MEM-DFA)は,DFAにおける層のより高い独立性を使用して,標準BP,FA,およびDFAと異なり,一度すべての活性化ベクターで保存を避けることができる。したがって,このアルゴリズムのメモリ利用は,ニューラルネットワークの層数に関係なく一定である。方法は,1つの余分なフォワードパスの一定の因子だけによって,計算コストを増加させる。MEM-DFA,BP,FA,およびDFAを,種々のニューラルネットワークモデルのMNISTとCIFAR-10データセットの記憶プロファイルと共に評価した。著者らの実験結果は,著者らの理論的結果と一致し,他のアルゴリズムと比較して,MEM-DFAのメモリコストの大幅な減少を示した。【JST・京大機械翻訳】

, , , ,
, , , , 【Automatic Indexing@JST】

移動通信 , 固体デバイス製造技術一般

, ,

前のページに戻る