文献

J-GLOBAL ID：202302236214930175   整理番号：23A0759105

360度映像におけるマルチビュー学習に基づくバイノーラル音声生成の高精度化に関する検討

A Note on Improvement of Binauralization Performance Based on Multi-view Learning on 360° Videos

著者 (4件)： 吉田将規 (北大 大学院情報科学院) ,  藤後廉 (北大 大学院情報科学研究院) ,  小川貴弘 (北大 大学院情報科学研究院) ,  長谷山美紀 (北大 大学院情報科学研究院)
資料名： 映像情報メディア学会技術報告
巻： 47  号： 6(MMS2023 1-34/ME2023 21-54/AIT2023 1-34)  ページ： 65-69  発行年： 2023年02月14日 
JST資料番号： S0209A  ISSN： 1342-6893  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本稿では,360度映像を用いたマルチビュー学習に基づくバイノーラル音声生成の高精度化に関する検討を行う.従来,視覚的情報に基づくバイノーラル音声生成の学習には,グラウンドトゥルースとなるバイノーラル音声が必要となるが,本研究では,360度映像から学習データとなる映像・音声を作成し,バイノーラル音声生成の学習を行う.ユーザが自由に視点を操作可能な360度映像を用いることで,視線方向が異なる複数の映像データを作成可能とし,同一のシーンにおける異なる視線方向の映像に基づくマルチビュー学習を可能とする.さらに,映像フレームと音声における視線方向が一致しない映像を作成し,映像フレームと音声における視線方向のずれの予測を行なうことで,映像フレーム中の音源位置と音声の到来方向の関係を学習する事前学習を行う.そして,360度映像から作成された学習データを用いて,事前学習済みのネットワークを利用したバイノーラル音声生成の学習を行うことで,バイノーラル音声生成の精度向上を図る.(著者抄録)

シソーラス用語： *音声信号 ,  *信号発生 ,  *機械学習 ,  映像 ,  三次元 ,  立体画像 ,  双耳聴 ,  視線 ,  バイノーラル音響 ,  マルチビュー学習 ,  *音声生成 ,  三次元映像
準シソーラス用語： 高精度化 ,  全方位映像 ,  立体映像

分類 (2件)： 音声処理  (JE05000E) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： 映像 ,  マルチビュー学習 ,  音声生成 ,  高精度化