文献

J-GLOBAL ID：202102237593927733   整理番号：21A0240762

視聴覚音声中の顔と声道構成の間の相互関係【JST・京大機械翻訳】

The interrelationship between the face and vocal tract configuration during audiovisual speech

著者 (3件)： Scholes Chris (Visual Neuroscience Group, School of Psychology, University of Nottingham, NG7 2RD Nottingham, United Kingdom) ,  Skipper Jeremy I. (Experimental Psychology, University College London, WC1H 0AP London, United Kingdom) ,  Johnston Alan (Visual Neuroscience Group, School of Psychology, University of Nottingham, NG7 2RD Nottingham, United Kingdom)
資料名： Proceedings of the National Academy of Sciences of the United States of America  (Proceedings of the National Academy of Sciences of the United States of America)
巻： 117  号： 51  ページ： 32791-32798  発行年： 2020年 
JST資料番号： D0387A  ISSN： 0027-8424  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 音声知覚は,特に音声が雑音の多い場合,音声の音声を聞くことで話者会話を見ることができるときに改善されることが十分に確立されている。音声統合が脳において起こるところのよい理解を持つ一方で,視覚と聴覚の手がかりが音声知覚を改善するためにどのように組み合わせられるかは不明である。1つの提案は,視覚と聴覚の手がかりが共通発電機から起こるので,統合が起こり得ることである。ここでは,顔と声帯運動が,声帯の顔と高速磁気共鳴(MR)画像シーケンスのビデオを比較することにより,音声生産中にリンクするかどうかを検討した。顔と声道における関節変動を主成分分析(PCA)の適用を用いて抽出し,MR画像シーケンスを顔ビデオとPCAのみを用いて高忠実度で再構成できることを示した。再構成忠実度は,2つのシーケンスからの画像が時間に対応し,また,隣接フレームを結合することによる陰的時間情報を含むとき,かなり高く,また,忠実度の有意な増加につながった。「Bubbles」技法を用いて,顔のどの領域が声帯に関する情報を回復するのに重要であり,また,フレームごとのベースで,その逆も,その逆位を同定した。著者らのデータは,音声中の声帯形状を回復する顔には十分な情報が存在することを明らかにした。さらに,再構成に重要な顔および声帯領域は,音響音声信号を生成するために使用される。Copyright 2021 The Author(s). Published by PNAS. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 雑音 ,  視覚 ,  磁気共鳴 ,  *聴覚 ,  音響 ,  音声知覚 ,  音声信号 ,  再構成 ,  録画装置 ,  声帯 ,  主成分分析 ,  *声道 ,  逆位 ,  会話
準シソーラス用語： *視聴覚 , 【Automatic Indexing@JST】

著者キーワード (3件)： 視聴覚 ,  音声 ,  PCA

分類 (1件)： 中枢神経系  (EJ12030F)

タイトルに関連する用語 (5件)： 視聴覚 ,  音声 ,  顔 ,  声道 ,  相互関係