特許
J-GLOBAL ID：202003008365977725
ニューラルネットワークにおいてパラメータを処理する方法及び装置
発明者：
,
,
出願人/特許権者：
代理人 (3件)：
伊東 忠重
, 伊東 忠彦
, 大貫 進介
公報種別：公開公報
出願番号（国際出願番号）：特願2019-124747
公開番号（公開出願番号）：特開2020-009444
出願日： 2019年07月03日
公開日（公表日）： 2020年01月16日
要約：
【課題】 ニューラルネットワークにおいて、パラメータを処理する方法及びその装置を提供する。【解決手段】 低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法及びその装置に係り、ニューラルネットワークのウェートをアップデートするための個別グラジエント値と残余グラジエント値とを計算し、加算器を利用し、個別グラジエント値、残余グラジエント値及びウェートを合算し、合算結果に基づいて、ウェート及び残余グラジエント値をアップデートする方法及びその装置である。【選択図】 図7
請求項（抜粋）：
低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法において、
前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、
前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、
前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、
加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算する段階と、
前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む方法。
IPC (1件)：
FI (1件)：
引用特許：
引用文献：
出願人引用 (1件)
-
AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training
前のページに戻る
