基数4勾配を持つメモリ内コンピューティングハードウェアにおけるニューラルネットワーク訓練【JST・京大機械翻訳】

Grimm Christopher; Verma Naveen

プレプリント

J-GLOBAL ID：202202207581384970 整理番号：22P0301471

基数4勾配を持つメモリ内コンピューティングハードウェアにおけるニューラルネットワーク訓練【JST・京大機械翻訳】

Neural Network Training on In-memory-computing Hardware with Radix-4 Gradients

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2022年07月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

深層学習訓練は多数の演算を含み,それは高次元行列ベクトル多重層(MVM)によって支配されている。これは,計算効率を高めるためのハードウェアアクセラレータを動機づけたが,データ移動とアクセスが重要なボトルネックであることを証明している。メモリーコンピューティング(IMC)は,これを克服する可能性をもつアプローチであり,それによって,計算を高密度2Dメモリ内でインプリメントする。しかし,IMCは,動的範囲制限のための効率およびスループット利得を基本的に取引し,訓練のための明確な課題を提起し,計算精度要求が推論よりも実質的に高いと見られる。本論文は,2つの最近の開発をレバレッジすることによって,IMCハードウェアに関する訓練を調査した。(1)基数4数表現を通して攻撃的量子化を可能にする訓練アルゴリズム;(2)精度キャパシタに基づくIMCレバレッジ計算では,アナログ雑音効果が量子化効果より十分に低い。16nm CMOSに実装された測定シリコンプロトタイプに較正されたエネルギーモデリングは,400x以上の省エネルギーが全量子化器適応性で達成され,そこでは全ての訓練MVMがIMCにマッピングされ,3xが2レベル量子化器適応性のために達成され,3つの訓練MVMの2つがIMCにマッピングできることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

数値計算 , ディジタル計算機方式一般 , 計算機網 , 記憶方式

, , , , ,

前のページに戻る