文献

J-GLOBAL ID：201702236456766676   整理番号：17A1725318

モダリティ畳込み:畳込みニューラルネットワークに基づくマルチモーダルジェスチャー認識【Powered by NICT】

Modality-convolutions: Multi-modal gesture recognition based on convolutional neural network

著者 (4件)： Huo Da (Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology, Beijing 100081, P.R. China) ,  Chen Yufeng (Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology, Beijing 100081, P.R. China) ,  Li Fengxia (Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology, Beijing 100081, P.R. China) ,  Lei Zhengchao (Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology, Beijing 100081, P.R. China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ICCSE  ページ： 349-353  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： モダリティコンボリューションと呼ばれるマルチモーダル画像のための特徴抽出の新しい方法を提案した。内およびモダリティ間情報の両方を抽出した。何がより,マルチモーダルデータに含まれる情報の相補性は完全に利用されるため,ピクセルレベルでのデータ融合を完成させた。モダリティ畳込みに基づいて,マルチモーダルジェスチャー認識のためのモダリティCNNについて述べた。RGB-D画像の特徴を抽出するために,CNNは,ジェスチャ認識フレームワークを採用した。フレームワークは骨格データを提示することDBNを用いた。二ネットワークによって得られた確率が融合し,HMM(隠れMarkovモデル)への動的ジェスチャ分類を行った。ジェスチャ認識の精度を計算するためにJaccar指数用いた。ChaLearn LAP2014ジェスチャデータセットに関する比較実験はモダリティコンボリューションである間intramodality型情報を効果的に抽出できることを示し,これは精度を改善するのに有用である。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： *畳込み ,  *ニューラルネットワーク ,  特徴抽出 ,  *ネットワーク ,  比較試験 ,  画像 ,  隠れMarkovモデル ,  データ融合 ,  相補性 ,  *多モード
準シソーラス用語： *身振り ,  RGB-D ,  マルチモダリティー画像 ,  *ジェスチャー認識 ,  *モダリティ , 【Automatic Indexing@JST】

分類 (2件)： パターン認識  (JE07000S) ,  数値計算  (JE02000J)

タイトルに関連する用語 (5件)： モダリティ ,  畳込み ,  畳込みニューラルネットワーク ,  マルチモーダル ,  ジェスチャー認識