特許
J-GLOBAL ID:202103015258962395

ニューラルアーキテクチャ検索

発明者:
出願人/特許権者:
代理人 (3件): 村山 靖彦 ,  実広 信哉 ,  阿部 達彦
公報種別:公表公報
出願番号(国際出願番号):特願2020-523808
公開番号(公開出願番号):特表2021-501417
出願日: 2018年10月29日
公開日(公表日): 2021年01月14日
要約:
ニューラルネットワークアーキテクチャを決定するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラムを含む方法、システム、および装置である。方法のうちの1つは、コントローラニューラルネットワークを使用して、出力シーケンスのバッチを生成するステップであって、バッチ内の各出力シーケンスが、大規模ニューラルネットワークによる入力の処理中にアクティブであるべきである、大規模ニューラルネットワークの複数の構成要素のそれぞれのサブセットを指定する、ステップと、バッチ内の各出力シーケンスについて、(i)大規模ネットワークパラメータの現在値に従って、および(ii)出力シーケンスによって指定された構成要素のサブセットのみをアクティブとして、特定のニューラルネットワークタスクにおける大規模ニューラルネットワークの性能メトリックを決定するステップと、コントローラニューラルネットワークのコントローラパラメータの現在値を調整するために、バッチ内の出力シーケンスについての性能メトリックを使用するステップとを含む。
請求項(抜粋):
特定のニューラルネットワークタスクを実行するためのニューラルネットワークのためのアーキテクチャを決定する方法であって、 複数のコントローラパラメータを有するコントローラニューラルネットワークを使用して、前記コントローラパラメータの現在値に従って、出力シーケンスのバッチを生成するステップであって、前記バッチ内の各出力シーケンスが、大規模ニューラルネットワークによる入力の処理中にアクティブであるべきである、前記大規模ニューラルネットワークの複数の構成要素のそれぞれのサブセットを指定し、前記大規模ニューラルネットワークが、複数の大規模ネットワークパラメータを有する、ステップと、 前記バッチ内の各出力シーケンスについて、 (i)前記大規模ネットワークパラメータの現在値に従って、および(ii)前記出力シーケンスによって指定された前記構成要素のサブセットのみをアクティブとして、前記特定のニューラルネットワークタスクにおける前記大規模ニューラルネットワークの性能メトリックを決定する、 ステップと、 前記コントローラニューラルネットワークの前記コントローラパラメータの前記現在値を調整するために、前記バッチ内の前記出力シーケンスについての前記性能メトリックを使用するステップと を含む、方法。
IPC (2件):
G06N 20/00 ,  G06N 3/08
FI (2件):
G06N20/00 ,  G06N3/08
引用特許:
出願人引用 (1件) 審査官引用 (1件)
引用文献:
出願人引用 (1件)
  • SMASH: One-Shot Model Architecture Search through HyperNetworks
審査官引用 (1件)
  • SMASH: One-Shot Model Architecture Search through HyperNetworks

前のページに戻る