我想实现一个同步两个音轨的算法。
两条轨道非常相似；你可以想象它们是来自同一个房间的两个麦克风的两个声音（不一定是音乐）录音。这意味着它们表现为一个信号，通过两个不同的（线性）通道，具有不同的附加噪声。
我知道第一个想法可能是寻找它们的互相关的峰值，但我对查找有关该主题的文献特别感兴趣，但我能找到的所有论文要么是同步两个音乐曲目（使用基于色度的音频特征)，或将音频与乐谱同步。他们还假设可能存在时间扭曲，这在我的情况下是不必要的假设。
同步两个音轨
信息处理
声音的
互相关
同步
2021-12-25 13:28:54
1个回答
当要对齐的曲目是使用不同乐器的相同材料的两种演奏时，使用基于色度的方法 - 在这种情况下，您需要找到“最小公分母”，即和声、旋律、和弦进行等。色度适用于那 - 他们完全抽象的音色，录音技术。但你不需要那些在你的情况下。
正如您已经猜到的那样，原始音频的互相关将是 1/ 对噪声不是很稳健， 2/ 对换能器的差异不是很稳健（两个麦克风可能有非常不同的响应） 3/ 如果您有几分钟的时间，成本会非常高声音的。
我建议你：
- 从两个信号中提取一系列 MFCC 向量。这样，您将拥有更低维度的东西，并且对噪声和传感器差异更加稳健。
- 可选择对 MFCC 进行归一化（“按设计”系数 0 的方差大于系数 1，依此类推……）...理想情况下，您希望 MFCC 矩阵的每一行都具有方差 1。
- 沿着时间轴计算你得到的两个矩阵的互相关（也就是说，计算 2D 互相关并只保留时间轴的数据）。
其它你可能感兴趣的问题