S 音频信号综述

S1 声音信号的分类

1. 纯音 (pure tone)：只有单一频率的正弦波。

   • 比如音叉 (tuning fork) 发出的声音就近似于纯音。

2. 复合音 (compound tone)：由许多参数不同的正弦波分量叠加而成。

   • 复合音信号可以通过傅里叶分析 (Fourier Analysis) 进行分解，可以用正弦模型 (sinusoidal /ˈsaɪnəˌsɔɪdəl/ model) 进行拟合。
   • 复合音的各种分量：
     • 基频 (fundamental frequency)：最低频率的分量的频率被称为基频，记为 $f_0$。对应的周期就是整个复合音的周期。
     • 泛音 (overtune)：其他频率较高的分量称为泛音，决定声音的音色。
     • 谐音 (harmonics)：整数倍基频的分量。
       • 如，1 次谐波/谐音为 $f_0$，2 次谐波/谐音为 $2f_0$（但是它又称 1 次泛音）……

3. 噪声 (noise)。

   • 非周期性声音，频率、幅度、相位各不相同的声音成分无规律的组合。

   • 没有明显的音高，但是有频率分布。

     colorednoise 模块可以听到各种颜色的噪声。

   	频谱特点
   白噪音	在整个可听频域均匀分布。
   粉噪音	每八度 -3dB。能量正比于 1/f。	类似于自然界瀑布、雨声，比较悦耳。
   棕噪音	每八度-6dB。能量正比于 1/f^2。	类似于工厂轰隆声。
   蓝噪音	每八度+3dB。
   紫噪音	每八度+6dB。
   灰噪音

S2 音频特征的分类

• 作用域（长度）：瞬态、音符、段落、全局。
• 抽象程度：底层（时域/频域信号）、中层（如音符等乐谱记号）、高层（如体裁、情绪）。

S3 音频信号采样与量化

• 采样标准

  • CD 标准的 44100 Hz 来源：

    最早的数字录音由一台录像机加上一部 PCM 编码器制作的,由于当时使用的是 PAL 录像制式(帕制,与之对应的有 NTSC),场频 50 Hz,可用扫描线数 294 条,一条视频扫描线的磁迹中记录 3 个音频数据块,把它们相乘,就得到了 44100 这个奇葩数字。

• 采样混叠

  • 如果被采集的信号不满足奈奎斯特定律，就会发生混叠。

    • 奈奎斯特定律是对栅栏效应的描述。

      

  • $\frac {f_s} 2 \pm f$ 会发生负性混叠，$f + kf_s$ 会发生正性混叠。

    

    

    

  • 上图需要重制（图中正相反相是写错了，应为正性、反性）。

  • 可以发现，就算使用比 44100 Hz 再高很多的采样频率，但如果采集环境中出现超过有效采样频率 $\frac {f_s} 2$ 的超声波，也会通过混叠对采集的信号产生影响。

    • 因而实际上大部分音频采集都会通过一个低通滤波，将信号限制在有效采样频率 $\frac {f_s} 2$ 范围内。
      • 麦克风采样的过程是先在麦克风处将声音振动转化为连续（模拟）的电平信号，然后再在声卡处进行模数转换，进行采样和量化。很多模数转换器一开头就会做低通滤波，以保证不会产生混叠。
    • 不过自然界高于 24000Hz 的声音本来就不常见，因为高频声音需要很大的能量。波的平均能量密度（一个周期内的能量平均值）是与频率的平方成正比的。

    $$ W = \frac 12 \rho \omega^2 A^2 $$

• 数字频率与模拟频率关系

  • 对于**实际频率（模拟频率）**为 $f$（Hz）的某正弦波，时域描述为：$x_{\rm a}(t) = \sin (2 \pi f t + \phi)$。
    • 记模拟角频率为 $\Omega = 2\pi f$，又称 $x_{\rm a}(t) = \sin (\Omega t + \phi)$。
  • 对此模拟信号做采样频率为 $f_s$（Hz）的采样，就有数字点数 $n$ 和时间 $t$ 的关系：$t = n / f_s$。对应的数字描述就是 $x[n] = x_{\rm a}(n/f_s) = \sin (2 \pi f \frac n {f_s} + \phi)$。
    • 记数字角频率为 $\omega = 2 \pi \frac {f} {f_s}$，又称 $x[n] = \sin (\omega n + \phi)$。

• 量化

  • 量化误差：量化阶段产生的信号差异（一般取绝对值的）。

    

S4 读入与写出音频