特許

J-GLOBAL ID：202103013784904828

重み行列への空間的局所性を強化すること、および周波数圧縮をもたらすことを通した、完全接続型/回帰型深層ネットワークの圧縮

発明者： チェ、ジンウク ,  ナラヤナン、プリティッシュ ,  チェン、チア-ユ ,  ゴパラクリシュナン、カイラッシュ ,  グプタ、スーヨグ
出願人/特許権者： インターナショナル・ビジネス・マシーンズ・コーポレーション
代理人 (2件)： 上野 剛史 ,  太佐 種一
公報種別：公表公報
出願番号（国際出願番号）：特願2020-529192
公開番号（公開出願番号）：特表2021-504837
出願日： 2018年11月30日
公開日（公表日）： 2021年02月15日
要約：

コンピュータ実行可能コンポーネントを記憶するメモリと、コンピュータ実行可能コンポーネントを実行するプロセッサとを有するシステムが、重み行列に対して空間的局所性を利用することと周波数変換および圧縮をもたらすこととによってニューラル・ネットワークを訓練することに関連してデータ・サイズを減少させる。受信コンポーネントは、圧縮された周波数領域重み行列の形態でニューラル・ネットワーク・データを受信する。分割コンポーネントは、初期重み行列を元のサブコンポーネントに分割し、それぞれの元のサブコンポーネントは、空間重みを有する。サンプリング・コンポーネントは、それぞれの正規化サブコンポーネントを生成するために、それぞれの元のサブコンポーネントに一般化された重み分布を適用する。変換コンポーネントは、それぞれの正規化サブコンポーネントに変換を適用する。クロッピング・コンポーネントは、元のサブコンポーネントの圧縮表現を生成するために低周波数正規化サブコンポーネントのセットをもたらすように、それぞれの変換された正規化サブコンポーネントの高周波数重みをクロッピングする。【選択図】図3

請求項（抜粋）：

ニューラル・ネットワーク訓練中にデータを圧縮するためのシステムであって、 コンピュータ実行可能コンポーネントおよびニューラル・ネットワーク・データを記憶するメモリと、 前記メモリ内に記憶されたコンピュータ実行可能コンポーネントを実行するプロセッサと、 を備え、前記コンピュータ実行可能コンポーネントが、 重み行列の形態でニューラル・ネットワーク・データを受信する受信コンポーネントと、 前記重み行列を元のサブコンポーネントに分割する分割コンポーネントであって、それぞれの元のサブコンポーネントが空間重みを有する、前記分割コンポーネントと、 それぞれの正規化サブコンポーネントを生成するために、前記それぞれの元のサブコンポーネントに一般化された重み分布を適用する、サンプリング・コンポーネントと、 前記それぞれの正規化サブコンポーネントに変換を適用する、変換コンポーネントと、 前記元のサブコンポーネントの圧縮表現を生成するために低周波数正規化サブコンポーネントのセットを生成するように、変換された前記それぞれの正規化サブコンポーネントの高周波数重みをクロッピングする、クロッピング・コンポーネントと、を含む、システム。

IPC (1件)：

G06N 3/08

FI (1件)：

G06N3/08

引用文献：

審査官引用 (2件)

• Adaptive weight compression for memory-efficient neural networks
• Evolving Neural Networks in Compressed Weight Space