文献

J-GLOBAL ID：201602228057584370   整理番号：16A1167297

時系列を考慮したConvolutional Neural Networkによる視覚音声認識のための音素識別

著者 (4件)： 橋本直矢 (早稲田大 理工学術院) ,  佐々木一磨 (早稲田大 理工学術院) ,  尾形哲也 (早稲田大 理工学術院) ,  中臺一博 (ホンダRI)
資料名： 日本ロボット学会学術講演会予稿集(CD-ROM)  (日本ロボット学会学術講演会(CD-ROM))
巻： 34th  ページ： ROMBUNNO.1C2-03  発行年： 2016年09月07日 
JST資料番号： L4867A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本研究では,実環境下におけるロバストな音声認識を目指した「リップリーディング」の実現を目的としている。従来手法では1枚の唇画像からの深層学習モデルにより約30%の音素識別を実現している。本研究ではこれを時系列データに拡張するため,時間方向に近接する複数フレームの唇画像を1つの入力とするTime Delay型のCNNを用いた評価を行った。検証実験の結果,時系列で近接する画像のフレームを9枚にすることで認識率が約19%程度向上することが確かめられた。(著者抄録)

シソーラス用語： 時系列 ,  時系列分析 ,  *音声認識 ,  言語理解 ,  *口唇 ,  機械学習 ,  *ニューラルネットワーク ,  比率 ,  認識
準シソーラス用語： 時系列解析 ,  *唇 ,  深層学習 ,  認識率

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (11件)：

• A. Krizhevsky, I. Sutskever and G. E. Hinton, ”ImageNet Classification with Deep Convolutional Neural Networks”, NIPS, 2012.
• K. Noda, Y. Yamaguchi, K. Nakadai, H. G. Okuno, and T. Ogata, “Lipreading using Convolutional Neural Network,” in Proc. Interspeech, pp. 1149-1153, 2014
• J. Ngiam, A. Khosla, M. Kim, J. Nam, H. Lee and A. Y. Ng., “Multimodal deep learning”, ICML, 2011.
• M. Wand, J. Koutnik, J. Schmidhuber, “Lipreading with Long Short-Term Memory”, The Swiss AI Lab IDSIA, USI & SUPSI, arXiv:1601.08188v1, 2016
• K. Noda, Y. Yamaguchi, K. Nakadai, H. G. Okuno, and T. Ogata, ′′Audio-visual speech recognition using deep learning′′, Applied Intelligence, Vol.42, Issue 4, pp. 722-737, 2015

タイトルに関連する用語 (5件)： 時系列 ,  視覚 ,  音声認識 ,  音素 ,  識別