文献

J-GLOBAL ID：201702221247667603   整理番号：17A1385403

高速と小フットプリント深部ニューラルネットワークのためのノード賢明な量境界モデルに基づく音響モデル訓練【Powered by NICT】

Acoustic model training based on node-wise weight boundary model for fast and small-footprint deep neural networks

著者 (3件)： Takeda Ryu (The Institute of Scientific and Industrial Research, Osaka University, 8-1, Mihogaoka, Ibaraki, Osaka 567-0047, Japan) ,  Nakadai Kazuhiro (Honda Research Institute Japan Co., Ltd., 8-1, Honcho, Wako, Saitama 351-0114, Japan) ,  Komatani Kazunori (The Institute of Scientific and Industrial Research, Osaka University, 8-1, Mihogaoka, Ibaraki, Osaka 567-0047, Japan)
資料名： Computer Speech and Language  (Computer Speech and Language)
巻： 46  ページ： 461-480  発行年： 2017年 
JST資料番号： T0677A  ISSN： 0885-2308  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 筆者等の本研究の目的は,音響モデルのための小フットプリントと高速ニューラルネットワークとしてのいくつかのパラメータを離散化し,離散的な深いニューラルネットワーク(NN)の開発を可能にすることである。三の必須条件には,この目標を達成するために満たさなければならない;1)離散化誤差の低減,2)高速処理の実現と3)DNNのノードサイズ低減。重みパラメータモデルと1)訓練アルゴリズム,2)のための汎用CPU上のルックアップテーブルを用いた実装方式,および3)の層バイアスノード刈り込み法を提案した。最初の提案方法は,各階層型NNノードでの離散化の適切な境界を設定し,離散化誤差を低減させることができる。第二の方法は,NNのパラメータを符号化することにより,CPUのキャッシュサイズ内のNNのメモリ使用量を低減することができる。最後の方法は各層で各ノードの活性を測定し,層依存スコアと枝刈りによる量子化DNNのネットワークサイズを減少させることができる。2ビット離散ニューラルネットワークによる実験により,提案訓練アルゴリズムを8ビット離散ニューラルネットワークによるとほぼ同じ単語精度を維持することを示した。メモリ使用量の95%の減少とNNの順方向計算の速度の74%の増加を達成した。Copyright 2017 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【Powered by NICT】

シソーラス用語： ルックアップテーブル ,  *モデル ,  量子化 ,  *高速度 ,  符号化 ,  単語 ,  記憶装置 ,  *ニューラルネットワーク ,  学習アルゴリズム
準シソーラス用語： パラメトリックモデル ,  離散化誤差 ,  離散化 ,  *音響モデル ,  *フットプリント ,  *ディープニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： ディープニューラルネットワーク ,  音響モデル ,  小 フットプリント ,  量子化 ,  ノード枝刈り

分類 (2件)： パターン認識  (JE07000S) ,  システム・制御理論一般  (IA02010H)

タイトルに関連する用語 (8件)： フットプリント ,  深部ニューラルネットワーク ,  ノード ,  量 ,  境界 ,  モデル ,  音響モデル ,  訓練