【五分钟会，半小时懂】人声分离Demucs

Demucs介绍

       Demucs是Facebook开源的声音分离模型，简单易用，结构简单，现在很多应用都以Demucs作为baseline进行优化。

       Demucs提供了Demucs和Convs - tasnet作为backbone的实现，在MusDB数据集上进行了预训练。预训练模型可以分离鼓、贝斯、人声和其它，超过了以前基于波形或光谱图的方法。下面是官方给出的对比图，可以看出Demucs is SOTA！所以我们下面主要使用Demucs作为backbone，并简单介绍它的原理。

Demucs的使用

       方法一：如果没有python环境，简单，我打了一个包。

链接：https://pan.baidu.com/s/1J-PkILFEoMyC2_S1rBsTMA 

提取码：j9it

       windows下解压缩，将要分离的文件放在separate/data/input目录，双击separate1.exe，等待。。。结果就会放在separate/data/output/demucs[音频文件名]/目录中，会生成4个文件，其中vocals.wav是人声。

       方法二：如果有Python环境，也很简单。先安装依赖，依赖如下：

       diffq>=0.1

       lameenc>=1.2

       julius>=0.2.3

       numpy

       torch>=1.8.1

      torchaudio>=0.8

       tqdm

       1.安装

pip install demucs

     2.分离一个音频试试，就用cpu吧，执行下面命令

python -m demucs.separate [PATH_TO_AUDIO_FILE] -o [PATH_TO_OUT_DIR] --name demucs --mp3 -d cpu

       3.结果存在目录demucs/demucs/separated/demucs/[音频文件名]/，会生成4个文件，其中vocals.wav是人声。

        Demucs的基本使用就介绍完成了，是不是很简单，如果只是单纯想使用的小伙伴，到这里就可以结束了，如果想深入研究的小伙伴，咱们继续。

Demucs原理

源码下载：https://github.com/facebookresearch/demucs/

       上面是官方提供的模型结构图，如果看不太明白可以看下面我画的那个，Demucs的结构并不复杂，一句话就能概括：Demucs基于U-Net卷积架构，Encoder和Decoder之间加入了BiLSTM。

       U-Net卷积架构，灵感来自Wave-U-Net和SING，Decoder的Upsampling使用反卷积，整个模型在channel膨胀的Conv1d之后使用GLU激活函数。

Encoder的Downsampling单元：经过两个Conv1d，第一个使channel扩大到out_c大小、width缩为Input的1/4，后接一个ReLu；第二个使channel扩大到out_c的2倍、width不变，后接一个GLU，GLU使channel数变为1/2（具体为什么下面说），也就是out_c的大小。整个Downsampling的输出是channel根据需要变为out_c、width变为Input的1/4。

Dencoder的Upsampling单元：由一个Conv1d和一个反卷积组成，第一个Conv1d使channel扩大到in_c的2倍、width（因为是一维卷积，没有height）不变，后接一个GLU，GLU使channel数变为1/2，也就是in_c的大小；第二个反卷积使channel扩大到out_c的大小、width扩大到Input是4倍，后接一个ReLu。整个Upsampling的输出是channel根据需要变为out_c、width变为Input的4倍。

     GLU（门控线性单元Gated linear units）激活函数

       GLU出自2016年的论文Language Modeling with Gated Convolutional Networks，链接：https://arxiv.org/abs/1612.08083v1，论文原意是在处理语言任务时利用多层的CNN结构代替传统的RNN结构，从而解决RNN不能并行的问题，引入了这一激活函数。

表达式为：f(X) = (X * W + b) * O(X * V + c)

Relu激活单元：(X * W + b)，加上一个Sigmoid激活单元：O(X * V + c)，构成的gate unit，就构成了GLU单元。

       在pytorch中有nn.GLU的门控线性激活函数，实现类似下面，可以看到输入被分成两份，一份线性变换一份sigmoid，然后做乘法，所以Input的width减半：

class GLU(nn.Module):
    def __init__(self):
        super(GLU, self).__init__()
 
    def forward(self, x):
        nc = x.size(1)
        assert nc % 2 == 0, 'channels dont divide 2!'
        nc = int(nc/2)
        return x[:, :nc] * torch.sigmoid(x[:, nc:])

        对GLU感兴趣的小伙伴可以去看一下论文，下面看一下模型的整体结构，并不复杂，而且保持了U-Net的美感。

        Input是2通道，我参考的预训练模型的depth=6，也就是Downsampling和Upsampling都是6次，每次channel变换2倍，width变化4倍。可以看到，模型就是U-Net中间加了一个LSTM，为了做残差使用了一个center_trim方法对齐size。输出channel=8，因为四种声音，每种声音2通道。

        损失函数默认l1Loss，当然也可以选择mse，值得一提的是loss中加了一项：可微量化因子。它是通过在训练过程中在模型参数中加入独立的伪量化噪声，以近似量化算子的效果。其实就是一个惩罚项，主要作用是通过降低参数精度，达到压缩模型的目的，据说DiffQ将一个16层的transforme压缩了8倍，相当于4位精度，而只损失了0.5个点，当然训练时也可以设置diffq=0不使用这个功能。

DiffQ论文链接：https://arxiv.org/abs/2104.09987

        Demucs主要结构就介绍到这里，Demucs没有论文只有代码，其实还有很多细节需要自己发现，我也只是一个小学生，欢迎大家批评指正。