文献

J-GLOBAL ID：202202233905092018   整理番号：22A0778855

8ビット共有指数Bias浮動小数点と多重方向融合多重加算ツリーを持つニューラルネットワーク訓練プロセッサ【JST・京大機械翻訳】

A Neural Network Training Processor With 8-Bit Shared Exponent Bias Floating Point and Multiple-Way Fused Multiply-Add Trees

著者 (3件)： Park Jeongwoo (Graduate School of Convergence Science and Technology, Seoul National University, Seoul, South Korea) ,  Lee Sunwoo (Graduate School of Convergence Science and Technology, Seoul National University, Seoul, South Korea) ,  Jeon Dongsuk (Graduate School of Convergence Science and Technology, Seoul National University, Seoul, South Korea)
資料名： IEEE Journal of Solid-State Circuits  (IEEE Journal of Solid-State Circuits)
巻： 57  号： 3  ページ： 965-977  発行年： 2022年 
JST資料番号： B0761A  ISSN： 0018-9200  CODEN： IJSCBC  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワーク(DNN)と機械学習アルゴリズムにおける最近の進歩は,多数の計算を必要とする機械学習アルゴリズムに基づくサービスの需要を誘発し,データセンターの加速器からオンデバイスコンピューティングシステムまでの範囲の特殊ハードウェアを導入した。8ビット整数のような低精度数学は,エネルギー効率の良いニューラルネットワーク推論のためのニューラルネットワークで使用されているが,性能劣化のない低精度数の訓練は,課題として残っている。この課題を克服するために,本論文は最先端の非スパースニューラルネットワークのための8ビット浮動点ニューラルネットワーク訓練プロセッサを提示する。ナイーブ8ビット浮動小数点数はDNNをロバストに訓練するのに不十分であるので,高性能DNN訓練を確保するために2つの追加方法を導入した。最初に,共有指数バイアス(FP8-SEB)を有する8ビット浮動点として dる新しい数値システムを導入した。さらに,多重方向融合多重加算(FMA)ツリーをFP8-SEBのハードウェア実装で用いて,より高い数値精度と減少したエネルギーを確保した。複数方向FMAツリーと組み合わせたFP8-SEBフォーマットを種々のシナリオの下で評価し,完全精度(FP32)で訓練された現在のネットワークのそれに近いか,または,それに近い訓練されたスクラッチ性能を示した。このシリコン検証DNN訓練プロセッサは,FP8-SEBマットと柔軟な2Dルーティング方式を用いて実装された24ウェイFMAツリーを利用し,従来の低電力ニューラルネットワーク訓練プロセッサと標準GPUよりも78.1×低いエネルギーで2.48×高いエネルギー効率を示した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： エネルギー ,  計算機システム ,  *ネットワーク ,  ケイ素 ,  *ニューラルネットワーク ,  データセンタ ,  経路選定 ,  *多重化 ,  ハードウェア ,  二次元 ,  *演算プロセッサ ,  *加算 ,  実装 ,  ロバスト性 ,  学習アルゴリズム
準シソーラス用語： ハードウェア実装 , 【Automatic Indexing@JST】

分類 (5件)： 計測機器一般  (AD02000X) ,  専用演算制御装置  (JC04030Y) ,  AD・DA変換回路  (NC05080M) ,  半導体集積回路  (NC03162T) ,  ディジタル計算機方式一般  (JC02010O)

タイトルに関連する用語 (9件)： 共有 ,  指数 ,  浮動小数点 ,  多重 ,  融合 ,  加算 ,  ニューラルネットワーク ,  訓練 ,  プロセッサ