文献

J-GLOBAL ID：201802223175942779   整理番号：18A0357399

会話中に表出するハンドジェスチャに基づく話者の発話単語の推定

Classifying Words in Utterance from Gestures in Natural Conversation

著者 (2件)： 岡田将吾 (北陸先端科学技術大学院大) ,  大塚和弘 (NTT コミュニケーション科学基礎研)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 117  号： 391(PRMU2017 112-144)  ページ： 209-215  発行年： 2018年01月11日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本研究は,モーションキャプチャから得られた手の動作データと,音声,発話内容の言語データを入力として,手の動作データに含まれるハンドジェスチャパターンと発話区間の間の時間的対応関係を自動的に抽出し,ジェスチャの特徴量から発話単語を認識するモデルを構築するフレームワークCommunicative Gesture Grounding Framework(CGGF)を提案する。CGGFでは多様な手の動作から,発話単語に対応付けるために,3つの異なる性質を持つ特徴量:(1)手の動作軌跡の特徴量,(2)ジェスチャフェイズ特徴量,(3)移動不変疎符号化(Sift Invariant Sparse Coding)に基づき抽出した,短い時系列信号パターンが抽出される。(1)を訓練するために隠れマルコフモデル(Hidden Markov Model:HMM)を,(2),(3)を学習するためにサポートベクターマシン(Support Vector Machine:SVM)を用いる。共通する説明課題に取り組んだ実験協力者16名の説明中にモーションキャプチャより観測された手の動作データ,発話内容データ,音声区間データに提案するCGGFを適用した結果,80単語に関して60%以上の正解率を得た。また最大の正解率は71%であった。(著者抄録)

シソーラス用語： 会話 ,  *画像認識 ,  人間 ,  *単語 ,  推定 ,  多モード ,  機械学習 ,  動画像 ,  サポートベクトルマシン
準シソーラス用語： *ハンドジェスチャー認識 ,  話者

分類 (1件)： パターン認識  (JE07000S)

引用文献 (21件)：

• E. Bozkurt, S. Asta, S. ?zkul, Y. Yemez, and E. Erzin. Multimodal analysis of speech prosody and upper body gestures using hidden semi-markov models. In IEEE Int. Conf. on Acoustics, Speech and Signal Processing, pages 3652-3656, 2013.
• A. Joshi, C. Monnier, M. Betke, and S. Sclaroff. A random forest approach to segmenting and classifying gestures. In IEEE Int. Conf. on Automatic Face and Gesture Recognition, volume 1, pages 1-7, 2015.
• A. Lee and T. Kawahara. Recent development of open-source speech recognition engine julius. In In: Proceedings Asia-Pacific Signal and Information Processing Association, Annual Summit and Conference (APSIPA ASC:), pages 244-248, 2009.
• A. Marcos-Ramiro, D. Pizarro-Perez, M. Marron-Romera, L. Nguyen, and D. Gatica-Perez. Body communicative cue extraction for conversational analysis. In IEEE Int. Conf. on Automatic Face and Gesture Recognition, pages 1-8, 2013.
• L.-P. Morency, A. Quattoni, and T. Darrell. Latent-dynamic discriminative models for continuous gesture recognition. In IEEE Int. Conf. on Computer Vision and Pattern Recognition, pages 1-8, 2007.

タイトルに関連する用語 (7件)： 会話 ,  表出 ,  ハンドジェスチャ ,  話者 ,  発話 ,  単語 ,  推定