特許
J-GLOBAL ID:201703018120253438

ニューラルネットワークシステム、シェア計算装置、ニューラルネットワークの学習方法、プログラム

発明者:
出願人/特許権者:
代理人 (3件): 中尾 直樹 ,  中村 幸雄 ,  義村 宗洋
公報種別:公開公報
出願番号(国際出願番号):特願2016-098410
公開番号(公開出願番号):特開2017-207839
出願日: 2016年05月17日
公開日(公表日): 2017年11月24日
要約:
【課題】学習データだけでなく、学習した結果として得られる重みのデータも秘密化できるニューラルネットワークシステムを提供する。【解決手段】本発明のニューラルネットワークシステムは、管理装置をシェアの生成とシェアの復元ができる装置とし、シェア計算装置をシェアの加算、シェアの乗算、シェアの定数倍、シェアの大小判定ができる装置としている。そして、活性化関数f(X)として、X≦0のときはf(X)=0、X>0のときはf(X)=Xとなる関数を用いている。この活性化関数f(X)とその導関数f’(X)を用いれば、シェアの生成とシェアの復元ができる管理装置と、シェアの加算、シェアの乗算、シェアの定数倍、シェアの大小判定ができるシェア計算装置によって、学習データだけでなく、学習した結果として得られる重みのデータも秘密化できる。【選択図】図1
請求項(抜粋):
管理装置とN台のシェア計算装置で構成されたニューラルネットワークシステムであって、 Kを2以上の整数、Nを2K-1以上の整数、nを1以上N以下の整数、Dをニューラルネットワークの層数(ただし、1層目が入力層、D層目が出力層)、dを1以上D以下の整数、Mdをd層目のノード数、mdを1以上Md以下の整数、Sを入力と教師データのセット数、sを1以上S以下の整数、I(s)={I(1)(s),...,I(M1)(s)}をs番目の入力、T(s)={T(1)(s),...,T(MD)(s)}をs番目の入力に対する教師データ、O(s)={O(1)(s),...,O(MD)(s)}をs番目の入力に対する出力、H(s,d)={H(1)(s,d),...,H(Md)(s,d)}をs番目の入力に対するd番目の隠れ層の値(ただし、I(s)=H(s,1)、O(s)=H(s,D))、w(md,md-1)(d)をd層目のmd番目のノードとd-1層目のmd-1番目のノードの間の重み、θ(md)(d)をd層目のmd番目のノードの閾値、Δw(md,md-1)(d)をw(md,md-1)(d)の学習率、Δθ(md)(d)をθ(md)(d)の学習率、[]nをn番目のシェア計算装置が記録するシェアを示す記号、[W(d)]nを[w(1,1)(d)]n,...,[w(md,md-1)(d)]n,...,[w(Md,Md-1)(d)]nの集合、[Θ(d)]nを[θ(1)(d)]n,...,[θ(Md)(d)]nの集合、[ΔW(d)]nを[Δw(1,1)(d)]n,...,[Δw(md,md-1)(d)]n,...,[Δw(Md,Md-1)(d)]nの集合、[ΔΘ(d)]nを[Δθ(1)(d)]n,...,[Δθ(Md)(d)]nの集合、εをあらかじめ定めた誤差の閾値、f()を活性化関数、f’()を前記活性化関数の導関数とし、 前記管理装置は、データからN個のシェアを求めること、K個のシェアからデータを復元することができ、 あらかじめ定めたΔW(1),...,ΔW(D)、ΔΘ(1),...,ΔΘ(D)、εと、S個の入力と教師データのセット(I(1),T(1)),...,(I(S),T(S))を記録する管理記録部と、 1≦n≦Nのすべてのnについて[W(1)]n,...,[W(D)]nと[Θ(1)]n,...,[Θ(D)]nをn番目のシェア計算装置に送信する初期設定部と、 1≦n≦Nのすべてのnについて([I(1)]n,[T(1)]n),...,([I(S)]n,[T(S)]n)をn番目のシェア計算装置に送信し、N個のシェア計算装置に学習開始を指示する学習指示部と、 を備え、 n番目のシェア計算装置は、シェアの加算、シェアの乗算、シェアの定数倍、シェアの大小判定を、他の前記シェア計算装置と共に行うことができ、 [W(1)]n,...,[W(D)]nと[Θ(1)]n,...,[Θ(D)]nと([I(1)]n,[T(1)]n),...,([I(S)]n,[T(S)]n)と、前記のあらかじめ定めたΔW(1),...,ΔW(D)、ΔΘ(1),...,ΔΘ(D)、εを記録するシェア計算記録部と、 1≦m1≦M1のすべてのm1について[H(m1)(1,s)]n=[I(m1)(s)]nとし、 d=1からd=D-1まで順番に1≦md+1≦Md+1のすべてのmd+1について [H(md+1)(d+1,s)]n=[f(X(md+1)(d+1,s))]n ただし、
IPC (4件):
G06N 3/08 ,  G06N 3/04 ,  H04L 9/08 ,  G09C 1/00
FI (4件):
G06N3/08 ,  G06N3/04 ,  H04L9/00 601Z ,  G09C1/00 660D
Fターム (8件):
5J104AA16 ,  5J104AA32 ,  5J104AA44 ,  5J104EA02 ,  5J104EA08 ,  5J104NA09 ,  5J104NA10 ,  5J104PA14
引用文献:
出願人引用 (2件)
  • Privacy Preserving Back-Propagation Neural Network Learning Made Practical with Cloud Computing
  • 非常に高効率なn≧2k-1 maliciousモデル上秘密分散ベースマルチパーティ計算の構成法
審査官引用 (2件)
  • Privacy Preserving Back-Propagation Neural Network Learning Made Practical with Cloud Computing
  • 非常に高効率なn≧2k-1 maliciousモデル上秘密分散ベースマルチパーティ計算の構成法

前のページに戻る