文献

J-GLOBAL ID：202002271528951589   整理番号：20A1906832

スペクトログラムとピッチグラムの深層クラスタリングに基づく複数楽器パート採譜

著者 (5件)： 田中啓太郎 (早稲田大 大学院先進理工学研究科) ,  中塚貴之 (早稲田大 大学院先進理工学研究科) ,  錦見亮 (京大 大学院情報学研究科) ,  吉井和佳 (京大 大学院情報学研究科) ,  森島繁生 (早稲田大 理工学術院 総合研)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2020  号： MUS-128  ページ： Vol.2020-MUS-128,No.11,1-6 (WEB ONLY)  発行年： 2020年08月17日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本稿では,任意の複数楽器で演奏された音楽音響信号に対し,各楽器パートのピアノロールを推定するための深層クラスタリングに基づく採譜手法について述べる.採譜対象の楽曲が常に特定の楽器で演奏されている場合,各ピアノロールを得るための直接的な方法は,深層ニューラルネットワーク(deep neural network,DNN)を用いて各楽器ごとのピッチグラム(音高サリエンシースペクトログラム)を推定する手法である.しかしながらこの手法には,事前指定外の楽器を含む楽曲を取り扱うことができないという致命的な限界がある.本研究では,楽器に依存しない音高推定器を用いてコンデンスピッチグラムを推定した後,深層球面クラスタリングによって指定した数の楽器パートに分離する.採譜精度向上のため,各楽器の音色特徴量と音高特徴量に基づくスペクトログラムとピッチグラムの同時クラスタリングを提案する.実験では,提案手法により事前指定外の未知楽器を含む楽曲に対しても,既知楽器のみで構成される楽曲とほぼ同程度かつ最先端の精度で採譜を行うことができることを確認した.(著者抄録)

シソーラス用語： *スペクトル解析 ,  *ホルマント ,  *機械学習 ,  *ニューラルネットワーク ,  音の高さ ,  クラスタ化 ,  楽器音響 ,  音楽 ,  楽譜 ,  音波信号 ,  信号解析 ,  *スペクトログラム ,  音響信号解析 ,  採譜 ,  *深層学習 ,  改変
準シソーラス用語： クラスタリング ,  ピッチ【音】 ,  音楽音響 ,  音響信号

分類 (3件)： 楽器音響  (BB03070Y) ,  人工知能  (JE08000Z) ,  ニューロコンピュータ  (JC06010Q)

引用文献 (20件)：

• Arora, V. and Behera, L.: Multiple F0 Estimation and Source Clustering of Polyphonic Music Audio Using PLCA and HMRFs, IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 23, No. 2, pp. 278-287 (2015).
• Benetos, E., Dixon, S., Duan, Z. and Ewert, S.: Automatic Music Transcription: An Overview, IEEE Signal Processing Magazine, Vol. 36, No. 1, pp. 20-30 (2019).
• Benetos, E., Dixon, S., Giannoulis, D., Kirchhoff, H. and Klapuri, A.: Automatic Music Transcription: Challenges and Future Directions, Journal of Intelligent Information Systems, Vol. 41 (2013).
• Bittner, R. M., McFee, B., Salamon, J., Li, P. and Bello, J. P.: Deep Salience Representations for F0 Estimation in Polyphonic Music, 18th Int. Soc. for Music Info. Retrieval Conf., pp. 63-70 (2017).
• Chen, L. C., Papandreou, G., Schroff, F. and Adam, H.: Rethinking Atrous Convolution for Semantic Image Segmentation, eprint arXiv:1706.05587 (2017).

タイトルに関連する用語 (8件)： スペクトログラム ,  ピッチ ,  グラム ,  深層 ,  クラスタリング ,  楽器 ,  パート ,  採譜