右から左を話す:音と音の空間対応の学習【JST・京大機械翻訳】

Yang Karren; Russell Bryan; Salamon Justin

プレプリント

J-GLOBAL ID：202202204595483009 整理番号：22P0157765

右から左を話す:音と音の空間対応の学習【JST・京大機械翻訳】

Telling Left from Right: Learning Spatial Correspondence of Sight and Sound

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年06月11日プレプリントサーバーでの情報更新日： 2020年06月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自己監督されたオーディオビジュアル学習は,視覚とオーディオ入力の間の対応をレバレッジすることにより,ビデオの有用な表現を捉えることを目指している。既存のアプローチは主に感覚ストリーム間の意味情報をマッチングすることに集中している。直交原理を利用する新しい自己監督タスクを提案する:視覚ストリームにおける音源の位置に対するオーディオストリームにおける空間情報マッチング。提案アプローチは簡単ではあるが効果的である。左と右のオーディオチャネルがフリップされ,視覚とオーディオストリームを横切る空間局在化の理由を強制するかどうかを決定するために,モデルを訓練した。提案手法を訓練し,評価するため,著者らは,900時間以上の足跡を含む空間オーディオを有する大規模ビデオデータセット,YouTube-ASMR-300Kを導入した。空間的対応の理解は3つのオーディオビジュアルタスクにおいてモデルをより良く実行することを可能にし,空間オーディオキューを活用しない教師つきおよび自己監督されたベースラインに対する定量的利得を達成した。また,著者らは,この自己監督されたアプローチを,バイソニックオーディオで360度ビデオに拡張する方法を示す。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

音声処理 , 図形・画像処理一般 , 音響信号処理

前のページに戻る