单一数据信号的鸡尾酒会问题(单麦克风)

信息处理 机器学习 源分离 逆问题 伊卡 酒会
2022-02-08 10:47:17

我一直在做一些多模态信号分析,有时 ICA 用于检测统计独立分量。

根据我的理解,如果你有 2 个源和 2 个接收器/传感器,你可以有一个独特的解决方案,但是如果你有数千个源,比如 EEG 和 32 个传感器,你需要数学上的限制工具才能做到这一点基于上下文的近似解。

但是,我一直想知道,例如,您是否能够区分一首歌曲中的 3 种乐器,从一个音轨?所以一个传感器?有没有与此相关的研究领域?如果是,请您指导我朝着正确的方向前进吗?

我对统计方法很感兴趣。我已经阅读了一篇论文,该论文在具有组合版本和每个乐器独立声音的音乐曲目上使用深度学习,并且 ofc 将它们用作输入数据,我对此不感兴趣。

2个回答

有些人使用频率-时间表示作为额外的来源,并尝试按照您的要求去做。

这方面的一些论文:

  1. 使用基于 ICA 的时频分解的单通道源分离PDF 源)。
  2. 音源分离:简介

顺便说一句,最终,深度学习可能会为这类任务产生最好的结果。

请注意,虽然 ICA 模型对混合信号的假设很少,但作为回报,它要求信号的数量匹配或高于源的数量。当有单个信号(源的单一混合)时,您需要在数据上添加一些先验(辅助信息)。在音乐中它可能是可以实现的(就像对不同的乐器有不同的频率一样)。

如果您对最先进的技术感兴趣,我建议您阅读有关chimes的内容。这是在 interspeech 2020 上提交给 Deep Noise Suppression 挑战的。如果需要,您也可以搜索其他提交,您可以在此处查看挑战的结果。

2021 年 8 月 11 日访问的链接