过去一年淘宝直播快速发展，截止2020年9月底，80个淘宝直播产业基地在全国落地开花，从农村走出10万农民主播，直播真正意义上成为帮助商家和消费者完成交易的利器，同时通过各种互动玩法让直播购物变得有趣好玩。在2020年双11开始阶段，淘宝直播App升级了18年直播答题「点题成金」的玩法，推出「一猜到底」新玩法。如果说传统的直播答题是「选择题」，一猜到底的玩法更像是几万人同时在线的「抢答题」，将答题方式从文字选择升级成语音抢答，给出猜中价格高低提示，让用户增加了更多的参与的乐趣。

为了实现比肩综艺现场的直播竞猜体验，我们一次压上了由达摩院语音实验室、阿里云PAI团队、淘系技术直播App和端智能MNN团队组成的全明星阵容，通力协作之下，一举实现了工业界首个用于直播的移动端语音识别。

业务流程和技术挑战

「一猜到底」整体玩法链路如上图所示，主播口播开始后，用户需要在人数和时间未满前，按住按钮，通过语音报出价格，系统通过本地语音识别能力进行识别和结果比对，提示用户所报价格“过高”还是“过低”，直到答对或者超时结束。在每一关有限的作答时间内，用户往往需要多次竞答，才能逼近商品的真实价格。于是，实时语音识别能不能准确且快速地识别用户的报价，直接决定了「一猜到底」的成败。

不同于一般的语音识别应用，一场顶流的淘宝直播，可以聚集百万乃至千万的用户围观。这么多用户同时进行语音识别，会出现非常多的请求，如果采用云端识别对服务压力和服务质量都有非常大的挑战。项目开始时实验了端侧和云侧识别的两种方案，发现云侧方案难以支撑这样的活动，最终选择了端侧方案，确定端侧识别方案之后，发现也不是康庄大道，主要存在以下技术难点：

* 高精度高性能的本地语音识别

目前行业比较成熟的是服务端的语音识别方案，完全照搬服务端方案到移动端也不现实，需要创建一套适合移动端运行的语音识别方案。同时，直播场景下的语音答题噪声较大，对语音识别的准确度要求较高，语音识别速度也会对用户的答题速度造成巨大影响。

* 语音模型和资源包体积过大

考虑到活动特性，端侧的语音识别引擎需要内置在包内，而且越小越好。经过客户端研发评估，如何做到15MB以内甚至更小的语音模型是关键，因此需要极致的模型压缩能力支持。

* 端侧资源有限，性能压力大

直播场景本身就已经很占用资源，叠加直播场景下做语音识别，对语音识别过程中的CPU、内存占用，都有很大的要求，高性能的推理和优化成为模型落地的最大拦路虎。

移动端实时语音识别技术大揭秘

阿里达摩院语音实验室早在2015年就研发出了第一代移动端离线语音识别方案，近来结合PAI模型压缩、MNN高性能推理引擎，实现了移动端离线和流式端到端语音识别方案，满足语音指令、语音识别、实时翻译等场景需求。根据「一猜到底」项目需求，我们选取"基于SAN-M的离线端到端语音识别"方案，通过极致的模型压缩和性能优化，最终实现模型大小小于15MB、内存占用低于60MB、1s语料识别快于50ms的高性能方案。

▐ 基于SAN-M的离线端到端语音识别

目前，最具代表性的离线端到端语音识别模型LAS[1]和Transformer[2]都是基于Attention-Encoder-Decoder的。LAS采用基于BLSTM的Encoder和基于单向LSTM的Decoder；而Transformer则采用Multi-head Self-Attention模块组建Encoder网络，采用Masked Multi-head Self-Attention组建Decoder网络。

在公开评测任务集上，Transformer较LAS在性能上有优势，同时由于采用了Multi-head，训练并行化效率更高。我们分析了Self-Attention和DFSMN memory block[3,4]之间的关联性：Self-Attention可以理解为采用了context-dependent系数进行全局建模，而DFSMN的memory block则采用了context-independent系数进行局部建模。对于语音识别，局部声学建模和全局语义建模都非常重要，因此我们提出了如下图所示的SAN-M模型结构，高效地融合了Self-Attention和DFSMN memory block。

SAN-M模块如上左图所示，将Self-Attention和DFSMN memory block融合一个模块，有效的结合了Self-Attention的全局长时建模能力和memory block的局部长时建模能力。基于SAN-M模块构建了如上右图的Encoder-Decoder离线语音识别系统（SAN-M-E2E-ASR），并在开源的1000小时AISHELL-2中文识别任务中获得了当前该任务的最优性能（CER=5.61%）；在工业量级的2万小时中文识别任务中，该系统也显著优于我们之前线上的CTC系统和标准Transformer系统。

针对本次识别场景，我们最终实现了不到40MB的端到端模型，而识别性能则可以媲美上一代整体超过100GB大小的云端DFSMN-CTC系统。我们在finetune数据上进行了不同维度的挑选和搭配，并做了不同策略的数据扩增来覆盖多样的识别情况。针对模型输出的token，也进行了一定压缩，并拉低了与本次任务无关的token概率来降低误识别率。在ITN模块，我们采用精小的FST（Finite State Transducer）来实现规则网络，用状态转移来实现文字到阿拉伯数字的转换，通过边上权重来控制其转换方向，并在简略读法、谐音、容错上也做了一系列路径优化。

▐ 基于PAI-MNN云端一体化模型压缩

虽然达摩院语音实验室通过定制化语音识别模型设计，将原有的170MB模型裁剪至不到40MB，但是考虑到移动端的资源情况，我们还需要通过PAI-MNN云端一体化模型压缩方案，进一步将模型基本无损地压缩到15MB以内。

从训练、模型压缩到优化部署的PAI-MNN云端一体方案

PAI混合精度量化流程

PAI混合精度量化流程

上图显示了PAI团队 (PAI: Platform of A. I. in Alibaba)研发的无数据标注干预的自动混合精度量化流程（Label-free AMP Pipeline, AMP: Automatic Mixed Precision），包括量化误差预补偿、离线标定、量化噪声分析与混合精度决策四个阶段，主要创新点包括：

支持端到端Transformer的离线后量化：

• PAI团队的后量化方法，引入了循环张量探针，以支持端到端Transformer的离线后量化。
• 相比于拆图量化、量化训练等，端到端后量化具备快捷、高效的优势；

集成了丰富的后量化策略，为后量化的精度鲁棒性提供了坚实保证，基本策略包括：

• KL算法的改进，能够有效减少输入/输出张量的量化噪声；
• EasyQuant（参考文献 [5]）的使用，可进一步减少输入/输出张量的量化误差，尤其能改善INT7等更低精度量化的效果；
• Bias Correction（参考文献 [6]）通过补偿网络权重的量化偏差（均值与方差的偏差），以减少权重量化噪声；同时对Bias Correction的适当改进，增强了对SAN-M ASR模型的补偿效果；
• ADMM（参考文献 [7]）亦可优化权重量化参数，减少权重量化噪声；也适当改进了ADMM的使用，从而在交替方向迭代范围内，确保权重量化误差最小；
• Weight Adjustment（参考文献 [8]）在Kernel weight按Per-tensor量化时，通过Per-channel形式的等价均衡变换，可以减少Weight量化误差。

无Label干预的混合精度量化流程：

• 该流程从模型输入到混合精度决策，无需数据标注（Label）的干预，简洁易用、快捷有效；
• 量化误差按逐层统计，且能准确反映每个网络层的量化敏感度，为混合精度（INT8/FP32混合）决策提供了可靠基础；
• 通过控制回退的网络层数，可选择出精度与模型容量折中最佳的帕累托最优解，完成多目标优化；
• 生成的混合精度量化表，能够对接移动端推理框架MNN，以生成低延迟、高推理精度的运行时推理引擎；从而构成了完整的工具链路，即从混合精度量化、到移动端的推理部署；
• AMP Pipeline不仅适用于移动端，也适用于CPU/GPU优化部署，体现了PAI云端一体的优势所在。

基于PAI AMP Pipeline，有效实现了SAN-M模型的离线后量化（PTQ: Post-training Quantization）。为了保持算法模型识别精度，经AMP INT8量化之后（回退3个Op，分类层保留为FP32实现）。

为了解决压缩率的问题，MNN模型转换和优化工具对回退的算子统一使用权重8bit存储、float计算的方式进行优化，进一步压缩模型大小。通过一套统一格式的模型压缩文件，经过PAI AMC优化的模型可以顺滑无缝地转换到MNN的格式。

MNN模型转换工具基于现有的图优化流程，根据该模型压缩文件将float模型转换成MNN模型的同时完成离线量化，具体过程如下：

• 根据量化表中提供的tensor name，在TensorFlow的计算图中生产和消费该tensor的边上同时插入一个自定义的量化和反量化算子。
• 将TensorFlow的计算图转换成MNN的计算图，其中自定义的量化和反量化算子转换成MNN量化（FloatToInt8）和反量化（Int8ToFloat）算子。
• 算子融合：将支持量化的算子、输入的反量化算子和输出的量化算子融合成一个Int8的算子。
• 最后消除成对的MNN量化和反量化算子。

最终，SAN-M模型在众包测试集上的WER绝对损失低于0.1%、SER绝对损失低于0.5%、理论压缩比约为3.19倍。

▐ 基于MNN推理引擎的实时高性能计算

为了在移动端上实现实时的端到端语音识别模型推理计算，MNN在全链路上做了诸多优化。

端到端语音识别模型基于Transformer结构，包含一个对输入音频特征编码的Encoder和一个自回归解码的Decoder。这类模型结构要求MNN支持Control Flow、Dynamic Shape和Zero Shape等特性，因此，MNN首先在框架层面对这些特性进行了支持和完善：

• MNN重构了Control Flow支持方案，提供用户透明的functional control flow实现，并支持了TensorFlow 1.x的控制流模型转换，为用户提供一站式的部署体验。
• 对于Dynamic Shape的支持，MNN将整图按照动态形状算子划分为多个分段子图。在代码层面，一个子图对应一个Module，Module支持嵌套，即整图被表达为一个由Module组成的调用树，树的每个叶子节点可以使用一个Session来执行，Session每次执行前resize，重新进行shape推理和分配内存。
• Zero Shape指的是模型中某些Tensor的shape存在0值，比如 (1, 0, 256），这种情况大多是为了给while-loop中某些循环变量提供初始值而引入的。MNN在形状推理和执行逻辑上对Zero Shape进行了支持。

之后，MNN根据达摩院模型新增了LayerNorm Fuse、Constant Folding、重复Reshape算子消除等图优化方法。图优化之后的计算图更容易和其他优化方法组合使用，比如，Constant Folding后MatMul的一个输入可能被替换成一个Constant节点，因此就可以转换成FullyConnected或Conv1x1进行加速，并且也更容易利用模型压缩方法对权重进行量化。

而后，语音模型的耗时重点仍然是矩阵乘法。MNN通过更优矩阵乘分块、基于 NC4HW4 布局优化前后内存布局转化、Strassen 算法改进等策略，优化了整体的卷积和矩阵乘的性能，ARM 架构上性能提高了 10%-20% ，保障了语音模型的高效运行。

同时，MNN最新提出的几何计算机制也在实时语音识别起到了重要作用。几何计算是MNN为了解决设备碎片化问题而提出的一种新机制，其核心在于把坐标映射标准化，以便统一实现与优化。在几何计算的支持下，我们可以较简单地合并相邻的纯形变算子，从而降低访存需求，提升模型运行性能。

最后，在PAI-MNN云端一体化模型压缩的加持下，我们利用量化表和有限回退机制，在精度损失可控的前提下，进一步降低了移动端上的计算总量。

RTF (real time factor)，即实时率，表示识别一秒钟音频需要的耗时。

在这一系列组合拳之下，我们才最终在目标设备上，将RTF（real time factor）降低到了目标值0.02以下，从而实现实时语音识别，让「一猜到底」得以走到每一个用户的面前。

总结与展望

通过这次项目合作，基于高性能推理引擎MNN，结合一流的语音模型设计和模型压缩技术，我们已经能在移动端上实现实时的语音识别，并通过了双11核心场景的考验。除了上述离线端到端语音识别之外，我们还实现了更复杂的流式端到端语音识别，能够低延迟地流式输出识别结果，可以应用到语音实时翻译等场景。

在硬件算力、模型设计、模型压缩和推理引擎飞速发展的共同推动下，CV、Data的AI应用场景已经日趋成熟，ASR、NLP的规模化应用也已指日可待，端侧AI的应用场景仍在持续发酵。

淘系技术部端智能团队，基于淘系丰富业务场景，持续进行端侧AI技术建设和业务创新实践。除开源推理引擎MNN之外，我们将上百次AI应用开发实践中积累的经验沉淀为MNN 工作台。MNN工作台将极大降低AI应用门槛，将AI研发的效率提升数十倍，让“技术小白”也能快速上手，轻松设计自己的AI应用。MNN工作台已于近日正式对公众开放，赶快进入MNN官网下载体验吧。

MNN官网：http://www.mnn.zone

参考：
[1] Chan W, Jaitly N, Le Q, et al. Listen, attend and spell: A neural network for large vocabulary conversational speech recognition[C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2016: 4960-4964.

[2] Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.

[3] Zhang S, Lei M, Yan Z, et al. Deep-fsmn for large vocabulary continuous speech recognition[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 5869-5873.

[4] Zhang S, Lei M, Liu Y, et al. Investigation of modeling units for mandarin speech recognition using dfsmn-ctc-smbr[C]//ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2019: 7085-7089.

[5] Di Wu, Qi Tang, Yongle Zhao, Ming Zhang, Ying Fu, Debing Zhang, "EasyQuant: Post-training Quantization via Scale Optimization", arXiv preprint 2006.16669, 2020.

[6] Ron Banner, Yury Nahshan, Elad Hoffer, Daniel Soudry, "Post-training 4-bit quantization of convolution networks for rapid-deployment", arXiv preprint 1810.05723, 2018.

[7] Cong Leng, Hao Li, Shenghuo Zhu, Rong Jin, "Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM", arXiv preprint 1707.09870, 2017.

[8] Markus Nagel, Mart van Baalen, Tijmen Blankevoort, Max Welling, "Data-Free Quantization Through Weight Equalization and Bias Correction", arXiv preprint 1906.04721, 2019.

关注「淘系技术」微信公众号，一个有温度有内容的技术社区~