音频识别和学习

信息处理 声音的 信号分析 机器学习
2022-02-01 08:32:50

我是一个完全没有信号处理经验的初学者,但我的长期目标是做一些混合音乐(我的爱好)和计算机科学(我的“专长”)的事情。我一直在考虑做一个涉及从音乐中学习音符的项目,但我不知道从哪里开始。

一方面,似乎没有这个问题的名称。但是,这似乎不是一个已解决的问题。我搜索了包括“音频识别”、“音符识别”、“和弦识别”在内的术语,但我只提出了这篇论文:Lee 和 stanley 的“Automatic Chord Recognition from Audio Using an HMM with Supervised Learning”。它似乎对处理有一些很好的参考,甚至还有一个指向我可能使用的数据集的指针,但是一篇论文似乎不足以很好地理解。或者,我可以完全跳过处理部分,但我找不到使用“音频信号数据集”等术语的数据集

信号处理似乎是一个相当广泛的领域。为了节省时间,我想买一本更面向我的项目的书。有没有这样的书?我发现了这个: http ://www.dspguide.com/ch1/3.htm但我想知道这是否相关,然后再进入这本 34 章的书。它们是我可以使用的任何其他搜索词(例如“音频特征提取”)来让我更接近问题的 ML 部分吗?

最后,为了减少工作量,我想将库用于信号处理部分。我为 Python 找到的一个库是 Pyo,但它们是人们使用过的 Python 的任何其他替代品吗?

基本上,我对我不知道的事情有点不知所措,我将非常感谢指向正确方向的指针。即使是谷歌搜索词也会有所帮助。

3个回答

里昂的书对你处境中的人来说是金子。对音频 DSP 的话题要有耐心——你花在学习上的时间越多,你知道的就越少。:)

如果你是一个绝对的初学者,我建议你从一个实际的例子开始(你可以看到/听到)。在深入研究论文之前,这将为您提供一些“动手”经验。

我强烈推荐libROSA(以及ipython notebook简介(所有免费软件)),以快速获得关于音高估计(使用色度特征)、节拍检测(用于音符的节奏和时间)等的直觉。

获取音乐音频并返回播放的音符的领域称为自动/自动音乐转录。有一些子问题,如 F0 估计和音符跟踪,它是更大的音乐信息检索领域的一部分。

最近对 2016 年方法的回顾是 BS Gowrishankar, Nagappa U. Bhajantri:自动音乐转录技术的详尽回顾