文献

J-GLOBAL ID：201702212909171896   整理番号：17A1619701

AffectiveHMD: 組み込み型光センサを用いた表情認識とバーチャルアバターへの表情マッピング

AffectiveHMD: Facial Expression Recognition and Mapping to Virtual Avatar Using Embedded Photo Sensors

著者 (7件)： 鈴木克洋 (慶應義塾大学) ,  中村文彦 (慶應義塾大学) ,  大塚慈雨 (慶應義塾大学) ,  正井克俊 (慶應義塾大学) ,  伊藤勇太 (慶應義塾大学) ,  杉浦裕太 (慶應義塾大学) ,  杉本麻樹 (慶應義塾大学)
資料名： 日本バーチャルリアリティ学会論文誌(Web)  (Transactions of the Virtual Reality Society of Japan (Web))
巻： 22  号： 3  ページ： 379-389(J-STAGE)  発行年： 2017年 
JST資料番号： U1092A  ISSN： 2423-9593  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： VR(Virtual Reality)環境においてユーザの表情をアバターに反映させることで身体投射性を高められるが,HMD(Head Mounted Display)装着時には顔画像の取得が困難である。本論文では,HMDの内部に取り付けられた反射型光センサを用いて顔表面との距離を計測し,ニューラルネットワークで各表情のセンサ値を学習する表情認識技術を提案した。まず,HMDの位置がずれると表情識別精度が低下するので,無表情時のセンサ値をベースラインとして各表情への変化量に置き換える前処理を加えた。次に,ニューラルネットワークで教師あり機械学習を行うために,一定時間ごとにアバターの表情が変化するアプリケーションを作成し,HMD装着者にアバターの表情を真似るように教示することで訓練データを収集した。Neutral,Happly,Angry,Surprise,Sadを基本表情とする識別器で多クラス分類を行うとともに,ニューラルネ表情認識ットワークによる線形回帰によって各基本表情の表情強度を推定し,識別結果をもとにユーザ表情をアバターに反映させた。被験者実験ではアバターに追従して表情を動かすことが難しく,自動取得したデータでの表情認識制度は実験者の指示に応じて表情を取得する場合よりも4%程度低下したが,ユーザ表情と表出強度を考慮した表情をアバターに反映できた。

シソーラス用語： *パターン認識 ,  *エージェント ,  *バーチャルリアリティ ,  ヒューマンインタフェイス ,  表示装置 ,  光センサ ,  *ニューラルネットワーク ,  表情 ,  機械学習 ,  情報収集 ,  識別装置 ,  評価試験 ,  実験 ,  *アバタ ,  被験者実験 ,  *表情認識 ,  ヘッドマウントディスプレイ
準シソーラス用語： HMD【表示装置】

著者キーワード (4件)： facial expression recognition ,  sensing ,  machine learning ,  virtual reality

分類 (4件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z) ,  図形・画像処理一般  (JE04010I) ,  ニューロコンピュータ  (JC06010Q)

引用文献 (17件)：

• [1] X. P. Burgos-Artizzu, J. Fleureau, O. Dumas, T. Tapie, F. LeClerc, and N. Mollet. Real-time expression-sensitive hmd face reconstruction. In SIGGRAPH Asia 2015 Technical Briefs, page 9. ACM, 2015.
• [2] R. J. W. David E. Rumelhart, Geoffrey E. Hinton. Leraning representations by back-propagation errors. Nature, pages 533-536, 1986.
• [3] K. Fukumoto, T. Terada, and M. Tsukamoto. A smile/laughter recognition mechanism for smile-based life logging. In Proceedings of the 4th Augmented Human International Conference, AH 2013, pages 213-220, 2013.
• [4] A. Gruebler and K. Suzuki. Design of a wearable device for reading positive expressions from facial emg signals. IEEE Transactions on Affective Computing, 5(3): 227-237, 2014.
• [5] I. Kiyoaki, M. Yasushi, and K. Yukio. Intelligent coding of facial image using neural network and morphing. IEEJ Transactions on Electronics, Information and Systems, 120(8-9): 1165-1171, 2000.

タイトルに関連する用語 (7件)： 組み込み ,  光センサ ,  表情認識 ,  バーチャル ,  アバター ,  表情 ,  マッピング