文献

J-GLOBAL ID：202002248335086601   整理番号：20A1509358

音声駆動ジェスチャ生成のための入力と出力表現の解析【JST・京大機械翻訳】

Analyzing Input and Output Representations for Speech-Driven Gesture Generation

著者 (5件)： Kucherenko Taras (KTH Royal Institute of Technology in Stockholm, Stockholm, Sweden) ,  Hasegawa Dai (Hokkai Gakuen University, Sapporo, Japan) ,  Henter Gustav Eje (KTH Royal Institute of Technology in Stockholm, Stockholm, Sweden) ,  Kaneko Naoshi (Aoyama Gakuin University, Tokyo, Japan) ,  Kjellstrom Hedvig (KTH Royal Institute of Technology in Stockholm, Stockholm, Sweden)
資料名： ACM Proceedings  (ACM Proceedings)
号： IVA ’19  ページ： 97-104  発行年： 2019年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,仮想エージェントとロボットの両方を含む人間エージェントインタラクションに適用できる自動音声駆動ジェスチャ生成のための新しいフレームワークを提案した。特に,表現学習を組み込むことにより,音声駆動ジェスチャ生成のための最近の深層学習ベースデータ駆動法を拡張した。提案モデルは入力として音声を取り上げ,3D座標のシーケンスの形で出力としてジェスチャを生成する。本アプローチは2段階から成る。最初に,動き符号器運動Eと動き復号器運動Dから成る雑音除去自動符号化ニューラルネットワークを用いて,人間運動の低次元表現を学習した。学習された表現は,より少ない関連変化を除去しながら,人間の姿勢変動の最も重要な側面を保存する。第二に,新しい符号器ネットワークSpeechEを訓練して,縮小次元で音声から対応する動き表現に写像する。テスト時間において,音声符号器と運動復号器ネットワークを組み合わせ,SpeechEは与えられた音声信号と運動Dに基づく動き表現を予測し,次にこれらの表現を動き配列を生成する。表現のための最も効果的な次元を見つけるために,異なる表現サイズを評価した。また,モデルへの入力として異なる音声特徴を用いることの効果も評価した。著者らは,メル周波数ケプストラム係数(MFCC),単独または韻律的特徴との組み合わせが,最良の性能を発揮することを見出した。その後のユーザ研究の結果は,表現学習の利点を確認した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *ネットワーク ,  ロボット ,  ニューラルネットワーク ,  復号器 ,  音声信号 ,  符号器 ,  雑音除去 ,  三次元座標 ,  深層学習 ,  表現学習 ,  メル周波数ケプストラム係数
準シソーラス用語： 韻律 ,  MFCC ,  音声特徴 ,  仮想エージェント ,  ケプストラム係数 , 【Automatic Indexing@JST】

著者キーワード (7件)： 深層学習 ,  ジェスチャー生成 ,  ジェスチャー合成 ,  ニューラルネットワーク ,  表現学習 ,  社会ロボティクス ,  仮想エージェント

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： 音声 ,  ジェスチャ ,  表現 ,  解析