A 乐音和打击乐音分离

经典的实现由两篇论文构成：

HARMONIC/PERCUSSIVE SEPARATION USING MEDIAN FILTERING (2010)
EXTENDING HARMONIC-PERCUSSIVE SEPARATION OF AUDIO SIGNALS (2014)
- 第二篇主要是对第一篇论文的拓展。

意义：

现有研究：

tensor factorisation 方法，具有更高的质量，但是巨慢。D. FitzGerald, E. Coyle, and M. Cranitch, “Using tensor factorisation models to separate drums from polyphonic music,” in Proc. Digital Audio Effects (DAFx-09), Como, Italy, 2009.
(N. Ono, 2008) A real-time equalizer of harmonic and percussive components in music signals,

定义信号：对信号进行跳距为 $N_H$，帧长为 $N_F$ 的分帧，假设共分出 $M$ 个帧。对于第 $m$ 帧信号，通过 FFT 求出频谱 $X[k, m]$，其中 $k$ 为频点。频点 $k$ —帧点 $m$（或者时间点）构成二维频谱图像 $X[k, m]$，下面取其幅值图像 $| X[k, m] |$ 进行分析。
规律：在 $| X[k, m] |$ 图像上，乐音构成帧轴上的横条，打击乐音构成频轴上的竖条。
- 换句话说，乐音会在纵截面上产生（过大）异常值，打击乐会在横截面上产生（过大）异常值。

Untitled

因而可以构思：
- 对每一图像行进行低通滤波（如中值滤波），能够抑制打击乐信号、提升乐音信号。
- 对每一图像列进行低通滤波（如中值滤波），能抑制乐音信号、提升打击乐信号。
- 两种滤波的结果可用于生成掩码，以此对原始频谱进行打击乐和乐音的分离。

A2-1 理论

众所周知，中值滤波在抑制异常值，尤其是明显的椒盐噪声时具有非常好的效果。
因而逐行滤波，得到抑制打击乐后的幅值图像 $Y_H[k, m]$；逐列滤波，得到抑制乐音信号后的幅值图像 $Y_P[k, m]$。
对于幅值图像的每个位置，求出二者的掩码 $M_H[k, m], M_P[k, m]$。可以直接取较大值作为硬掩码（binary mask），也可以使用软掩码。
- 硬掩码定义如下（${\mathbb I}$ 为指示函数）：
  
  $$ M_H[k, m] = {\mathbb I} (Y_H[k, m] > Y_P[k, m]) \\
  
  M_P[k, m] = {\mathbb I} (Y_P[k, m] < Y_H[k, m]) $$
- 软掩码定义如下（$\epsilon$ 用于防止除以 0）：
  
  $$ M_H[k, m] = \frac {Y_H[k, m]}{Y_H[k, m] + Y_P[k, m] + \epsilon}\\ M_P[k, m] = \frac {Y_P[k, m]}{Y_H[k, m] + Y_P[k, m] + \epsilon} $$
之后只需要做 $H[k, m] = M_H[k, m]X[k, m], \ P[k, m] = M_P[k, m]X[k, m]$，就可以求得乐音信号和打击乐信号的频谱，作 IFFT 还原得到二者的信号。

A2-2 实践与效果

240116 HarmonicPercussiveSeparation.ipynb