文献

J-GLOBAL ID：202002218503193744   整理番号：20A0116757

Bi-Directional LSTM Networkを用いた発話に伴うジェスチャの自動生成手法

Speech-to-Gesture Generation Using Bi-Directional LSTM Network

著者 (6件)： 金子直史 (青山学院大学理工学部情報テクノロジー学科) ,  竹内健太 (青山学院大学大学院理工学研究科) ,  長谷川大 (北海学園大学工学部生命工学科) ,  白川真一 (横浜国立大学大学院環境情報研究院) ,  佐久田博司 (青山学院大学名誉教授) ,  鷲見和彦 (青山学院大学理工学部情報テクノロジー学科)
資料名： 人工知能学会論文誌(Web)  (TJSAI (Web))
巻： 34  号： 6  ページ： C-J41_1-12(J-STAGE)  発行年： 2019年 
JST資料番号： U0128A  ISSN： 1346-8030  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 自動的な発話ドリブンの自然なジェスチャモーションの生成のための新しいフレームワークを提案した。提案した方法は2段階からなる。第1に,Bi-Directional LSTM Networkに基づき,本深層ネットワークは長期間に渡って前後の両方の一貫性を有する発話-ジェスチャ関係を学習した。本ネットワークは各時間ステップで入力音声から抽出された知覚特徴量から,人間の完全な3D骨格姿勢を回帰した。第2に,組み合わせた時系列フィルタを適用し,生成した姿勢列をスムージングした。本ネットワークを訓練するために,ヘッドセットとマーカーに基づくモーションキャプチャによって記録された発話-ジェスチャデータセットを利用した。提案した手法の有効性を検証するために,異なる音響的特徴,ネットワーク構造,及び時系列フィルタを評価した。また,主観的評価を行い,実際の人間のジェスチャと本アプローチを比較した。主観的評価結果は生成されたジェスチャが自然さの尺度において“オリジナルの”人間のジェスチャに匹敵し,異なる発話から得られた“不整合な”人間のジェスチャよりも有意に優れていることを示した。(翻訳著者抄録)

シソーラス用語： *画像合成 ,  挙動 ,  *自然言語処理 ,  発話 ,  コンピュータグラフィックス ,  ニューラルネットワーク ,  会話 ,  *モーションキャプチャ ,  特徴抽出 ,  フィルタ ,  時系列 ,  主観評価 ,  評価試験 ,  LSTMネットワーク ,  身振り
準シソーラス用語： ジェスチャー ,  時系列フィルタ

著者キーワード (8件)： 音声ジェスチャ ,  深層学習 ,  ニューラルネットワーク ,  長期短期記憶 ,  音声ジェスチャ ,  深層学習 ,  ニューラルネットワーク ,  長期短期記憶

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  自然語処理  (JE06000L)

引用文献 (28件)：

• [Alku 02] Alku, P., Bäckström, T., and Vilkman, E.: Normalized amplitude quotient for parametrization of the glottal flow, The Journal of the Acoustical Society of America, Vol. 112, No. 2, pp. 701-710 (2002)
• [André 10] André, E. and Pelachaud, C.: Interacting with embodied conversational agents, in Speech Technology: Theory and Applications, pp. 123-149, Springer (2010)
• [Bickmore 10] Bickmore, T. W., Pfeifer, L. M., Byron, D., Forsythe, S., Henault, L. E., Jack, B. W., Silliman, R., and Paasche-Orlow, M. K.: Usability of conversational agents by patients with inadequate health literacy: Evidence from two clinical trials, Journal of Health Communication, Vol. 15, No. S2, pp. 197-210 (2010)
• [Boersma 01] Boersma, P.: Praat, a system for doing phonetics by computer, Glot International, Vol. 5, No. 9/10, pp. 341-345 (2001)
• [Breazeal 05] Breazeal, C., Kidd, C. D., Thomaz, A. L., Hoffman, G., and Berlin, M.: Effects of nonverbal communication on efficiency and robustness in human-robot teamwork, in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 708-713 (2005)

タイトルに関連する用語 (4件)： 発話 ,  ジェスチャ ,  自動生成 ,  手法