文献

J-GLOBAL ID：202002244722287209   整理番号：20A2051023

Transformer音声認識システムの進化的最適化

Evolutionary Development of Transformer Speech Recognition System.

著者 (2件)： 日野健人 (東京工大) ,  篠崎隆宏 (東京工大)
資料名： 日本音響学会研究発表会講演論文集(CD-ROM)  (日本音響学会講演論文集(CD-ROM))
巻： 2020  号： 秋季  ページ： ROMBUNNO.2-P1-6  発行年： 2020年08月26日 
JST資料番号： G0381C  ISSN： 1880-7658  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・進化戦略によるTransformer音声認識システムの構造最適化を実行。
・進化戦略として従来の共分散適応進化戦略(CMA-ES)に加えて,文化継承の仕組みを取り入れた二重相続進化戦略(DI-ES)を適用。
・進化戦略を用いてTransformer音声認識システムのハイパーパラメタの最適化を行いその評価を実行。
・CMA-ES による最適化と比較し,DI-ESによる最適化では,より高性能なモデルを取得。

シソーラス用語： 最適化 ,  *音声認識 ,  *構造最適化 ,  ニューラルネットワーク ,  最適化手法 ,  *音声認識システム ,  進化戦略 ,  *進化的最適化 ,  *改変
準シソーラス用語： *Transformer音声認識システム

分類 (1件)： パターン認識  (JE07000S)

引用文献 (5件)：

• N. Hansen, S. D. Müller and P. Koumoutsakos, “Reducing the time complexity of the derandomized evolution strategy with covariance matrix adaptation (CMA-ES),”Proc. Evolutionary Computation, 2003.
• Takahiro Shinozaki, Shinji Watanabe, ”Structure discovery of deep neural network based on evolutionary algorithms,” Proc. ICASSP, 2015.4
• Kent Hino, Yusuke Kimura, Yue Dong and Takahiro Shinozaki, ”Dual Inheritance Evolution Strategy for Deep Neural Network Optimization,” Proc. IEEE Congress on Evolution Computation (CEC) 2020, accepted.
• Adriana Romero, et al., ”FitNets: Hints for Thin Deep Nets”, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings (2015).
• Shinji Watanabe, et al., ”ESPnet: End-to-End Speech Processing Toolkit”, Proc. Interspeech, 2018

タイトルに関連する用語 (3件)： Transformer ,  音声認識システム ,  進化的最適化