文献

J-GLOBAL ID：201202205853234654   整理番号：12A0436002

軽量な画像特徴量を用いたマルチモーダル音声認識

著者 (5件)： 吉川正祥 (東京工大 大学院情報理工学系研究科) ,  篠崎隆宏 (東京工大 大学院情報理工学系研究科) ,  篠崎隆宏 (千葉大 大学院融合科学研究科) ,  岩野公司 (東京都市大 環境情報) ,  古井貞煕 (東京工大 大学院情報理工学系研究科)
資料名： 電子情報通信学会論文誌 D  (IEICE Transactions on Information and Systems (Japanese Edition))
巻： J95-D  号： 3  ページ： 618-627  発行年： 2012年03月01日 
JST資料番号： S0757C  ISSN： 1880-4535  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 音声と動画のマルチモーダル音声認識は,音声のみを用いた場合と比較して高い認識性能が期待される手法であり,これまでの研究で雑音環境下での音声認識に有効であることが示されている。また画像特徴量として,様々なものが提案されている。しかしこれまでは認識性能に注意が向けられ,ポータブル機器等において重要な計算量に注目した研究はほとんど存在しない。実際,代表的な画像特徴量であるオプティカルフローや主成分分析に基づいた手法では,音響特徴量の計算と比べ計算量がかなり大きい。そこで本研究では,計算量と認識性能のバランスに優れた特徴量について検討を行った。発話区間検出を目的として提案された低輝度画素数に着目した特徴量を多次元に拡張し,マルチモーダル音声認識に応用する。実験ではビデオカメラで収録したデータとともにiPhone4で収録したデータを用い,提案輝度特徴量が計算量が少なくどの環境においても認識性能の向上に有効であることを示す。(著者抄録)

シソーラス用語： *音声認識 ,  *多モード ,  音声 ,  動画像 ,  音環境 ,  端末装置 ,  画像特性 ,  輝度 ,  計算量 ,  *特徴抽出 ,  雑音環境 ,  *特徴量
準シソーラス用語： ポータブル機器

分類 (1件)： パターン認識  (JE07000S)

引用文献 (23件)：

• S. Basu, C. Neti, N. Rajput, A. Senior, L. Subramaniam, A. Verma, “Audio-visual large vocabulary continuous speech recognition in the broadcast domain,” Proc. MMSP ’99, pp. 475-481, Sept.1999.
• G. Potamianos, C. Neti, J. Luettin, I. Matthews, “Audio-visual automatic speech recognition: An overview,” in Issues in Visual and Audio-Visual. Speech Processing, ed. G. Bailly, E. Vatikiotis-Bateson, and P. Perrier, MIT Press, 2004.
• S. S. Beauchemin and J. L. Barron, “The computation of optical flow,” ACM Computing Surveys, vol.27, no.3, pp. 433-466, 1995.
• C. Bregler and Y. Konig, ““Eigenlips” for robust speech recognition,” Proc. ICASSP ’94, vol.2, pp. 669-672, April 1994.
• 高山俊輔, 松尾俊秀, 岩野公司, 古井貞煕, “対話システムへの利用を想定したマルチモーダル音声認識の検討,”信学技報, SP2007-4, May 2007.

タイトルに関連する用語 (4件)： 軽量 ,  画像特徴量 ,  マルチモーダル ,  音声認識