特許
J-GLOBAL ID：202303017120517452
最適化装置及び最適化方法並びに最適化用プログラム
発明者：
,
,
出願人/特許権者：
代理人 (2件)：
弁理士法人インテクト国際特許事務所
, 美川 公司
公報種別：公開公報
出願番号（国際出願番号）：特願2022-011651
公開番号（公開出願番号）：特開2023-110297
出願日： 2022年01月28日
公開日（公表日）： 2023年08月09日
要約：
【課題】小規模なエッジコンピュータであっても、ニューラルネットワークにおける損失関数の最小化によるパラメータの最適化を可能とし、また当該最適化処理の省メモリ化と高速化を両立させることを可能とする。
【解決手段】ニューラルネットワークにおける予測値及び正解値に対応した損失関数を、固定小数点方式による量子化ビット数の制限を施しつつ最小化することでパラメータを最適化するオプティマイザOPにおいて、時刻tにおけるモーメンタムをm
t
とし、重み付けパラメータをw
t
としたとき、モーメンタムm
t-1
に対して対数量子化処理を施すと共に、重み付けパラメータに対応する損失関数の勾配に対して学習率を乗算した結果を対数量子化処理の結果から減算し、その減算結果をモーメンタムm
t
として出力する。更に、モーメンタムm
t
を重み付けパラメータw
t-1
に加算し、重み付けパラメータw
t
として出力する。
【選択図】図1
請求項（抜粋）：
ニューラルネットワークにおける予測値及び正解値を用いて算出される損失関数を、予め設定された量子化ビット数の固定小数点方式により当該量子化ビット数を制限しつつ最小化することで、当該ニューラルネットワークとしてのパラメータを最適化する最適化装置において、
時刻をtとし、当該時刻tにおけるモーメンタムをm
t
とし、重み付けパラメータをw
t
としたとき、
時刻t-1における前記モーメンタムm
t-1
に対して対数量子化処理を施す対数量子化手段と、
前記ニューラルネットワークにおける重み付けパラメータに対応する前記損失関数の勾配に対して当該ニューラルネットワークにおける学習率を乗算する乗算手段と、
前記乗算手段による乗算結果を、前記対数量子化処理の結果から減算する減算手段と、
前記減算手段による減算結果を時刻tにおける前記モーメンタムm
t
として出力するモーメンタム出力手段と、
前記モーメンタムm
t
を時刻t-1における重み付けパラメータw
t-1
に加算し、時刻tにおける重み付けパラメータw
t
として出力する重み付けパラメータ出力手段と、
を備えることを特徴とする最適化装置。
IPC (2件)：
FI (2件)：
前のページに戻る
