机器之心深入调研网易，发布70页报告深度解密「别人家」的AI技术团队如何驾驭技术、实现业务发展。开始抄作业吧！附下载链接，拿走不谢！
身处「增长要靠技术造」的后移动互联网时代，AI技术团队要如何走出发顶会论文容易，实现业务增长难的怪圈？
面对不断迭代的AI技术，业务团队又应如何挑选合作伙伴，与何种架构思路的AI技术团队合作，才能行之有效地为自身插上AI的翅膀？在充满无限可能的未来，自带颠覆属性的AI技术又将在哪些方面带来潜在的变革？哪些前沿AI技术值得关注布局？在联合网易智企团队共同开展了为期数月的调查研究后，机器之心交出了一份长达70页的报告，作为对以上问题的回应。
报告以网易智企为研究对象，通过透视网易智企AI技术团队响应互联网内容井喷式增长、在线实时互动刚需化以及自然语言处理技术范式升级的技术方案与合作案例，为憧憬通过驾驭AI技术把握时代机遇的现代企业提供一套在实践中行之有效的方法论。报告的第一、二章围绕「后移动互联网时代」的新机遇展开，对市场机会与技术挑战进行分析，通过对网易智企AI技术团队首次公开的技术方案进行深入算法层面的显微镜式解读，剖析网易智企如何在工业实践中通过驾驭AI技术，实现内容风控、音视频及自然语言对话三大技术的高效迭代。报告的第三章对数据、模型、解决方案、算法及部署这五个AI系统架构关键方面逐一展开，以网易智企AI技术团队所采用的架构为线索，总结当前AI系统架构的创新发展与实践方法论。报告的第四章通过研究网易易盾、网易云信和网易云商与汽车之家、网易云音乐及松果出行的三个真实技术合作案例，解答了企业如何通过采用高效、专业的AI解决方案抓住市场机遇，实现业务创新与发展突破的问题。报告的最后两个章节，从可信AI与Data Centric AI 两方面探讨当前人工智能技术的变革趋势，洞察业界在这两方面的最新工作进展；从多模态、无监督与超大规模和工程自动化三个相对前沿的技术方向出发，汇总学界与业界的观察与展望。
由于本文篇幅有限，以下仅结合报告第一、二章节的部分内容为读者进行解读。获取完整报告可点击文末「阅读原文」链接。一、后互联网时代，新机遇带来新的技术挑战过去的十年是计算机视觉、自然语言及语音等领域取得了革命性进展的十年，同时也是全球范围内移动互联网、多媒体互联网与各行各业深度融合，数字科技不断为社会发展带来惊喜的黄金十年。在这十年里，音视频通信从网络社交深入日常办公、生产及生活场景；点播、直播产业在全球范围内崛起；对话机器人成为大众服务行业标配。数字产业的创新发展，为各行各业开拓了新的业务场景，也为现代企业带来了新的发展机遇。随着深度学习等新一代AI算法在计算机视觉、自然语言及语音等领域取得突破进展，音视频、网络安全等已广泛商用的数字技术又迎来了新的技术升级契机。
- 互联网内容井喷式增长，带来对内容风控技术的挑战与升级需求
- 移动办公、在线互动等实时音视频应用刚需化，带来对音视频技术的挑战与升级需求
- 自然语言处理范式革新，带来对客服机器人/自然语言对话技术的挑战与升级需求
二、AI加持把握机遇：驾驭不断升级的技术需求新机遇、新场景对内容风控、音视频及客服机器人等数字科技提出了新的需求，而AI技术的融合应用在驾驭不断迭代的技术的过程上扮演着尤为关键的角色。注：报告对以下方案进行了详细的细节阐述，由于本文篇幅有限在此仅进行简要介绍。感兴趣的读者可点击「阅读原文」下载完整报告。驾驭AI加持下的音频技术AI技术的发展推动了相关音频算法的不断涌现。这些 AI 算法虽然能够在某些特定问题或实验室数据上获得优异表现，但往往存在高成本、无法适应真实应用场景、难以处理高维度声音环境等工程化问题。这些问题往往导致音频AI算法在真实场景中的落地困难。作为对AI算法落地难问题的响应，网易云信团队的解决方案是将AI 与 DSP 进行结合、提升 AI 算法在复杂场景的泛化能力、端侧落地的低开销与稳定性，以及研发实时音视频环境中的AI算法。
- 结合AI 与DSP 算法
数字信号处理 (DSP) 算法是传统音频处理任务的基础。AI 音频算法相比传统 DSP 处理算法，对处理复杂的真实场景存在一定短板，同时也带来更大的开销。
- 提升复杂场景下的泛化能力
大部分 AI 算法在音频通话场景和针对目标声音的训练、验证集上会有很好的效果，但在未见过的测试集上效果会有所回退。为了提升算法在常见环境中的泛化能力，云信团队选择了从实时音视频通信（RTC）领域的数据集入手。在 AI 音频通话算法的研发过程中，云信团队针对场景、采集设备，自行做了大量的数据采集和标注。通过开源数据、采购数据，对噪音进行实际录制，沉淀了一个多场景噪声集。
- 低开销端侧落地与稳定性提升
针对端侧性能提升，云信团队主要通过算法模型剪枝、推理加速、推理指令集优化等操作实现。
- 实时音视频环境中的AI算法
针对 RTC 场景，网易云信成功研发了轻量级、适合全平台终端的 AI 音频降噪算法。作为国内行业中的首个 AI 音乐训练检测模型，网易云信结合了自研的帧间频域特征和一个轻量级神经网络，训练出了一个音乐检测率高、鲁棒性强、计算开销小，适合在各个端侧落地的 AI 模型。2021年，云信团队的两篇论文被第 50 届国际噪声控制工程会议INTER-NOISE收录。「A neural network based noise suppression method for transient noise control with low-complexity computation」提出使用 AI 抑制键盘、敲门声等。该算法使用了优化的谐波相关性（Modified Harmonic-Correlation），和独创的损失函数，在一个 RNN 模型上进行训练。在终端运行时，算法结合了网易云信自研的 NENN 推理框架，在大幅提升降噪效果的同时，保持了一个极低的运算复杂度。「A real-time music detection method based on convolutional neural network using Mel-spectrogram and spectral flux」提出了一项音乐检测器，利用 CNN网络对不同场景中的音乐声音进行检测和减损。作为国内行业中的首个 AI 音乐训练检测模型，网易云信结合了自研的帧间频域特征和一个轻量级神经网络，训练出了一个音乐检测率高、鲁棒性强、计算开销小，适合在各个端侧落地的 AI 模型。通过对环境声音的检测，模型能够区分出音乐和非音乐场景，并基于此先验信息，对 RTC 中音频 APM 处理进行有针对性地调整，在保证语音信号质量的同时，大幅提高音乐信号的质量。2022年，云信团队的麦克风啸叫检测方法被 ICASSP 2022 收录，在该工作中云信团队采取了一种基于卷积递归神经网络的方法，用于 RTC 应用中的啸叫检测，实现了出色的准确性和低误报率。驾驭AI加持下的视频处理技术视频处理技术指的是对全图或全图中某一区域做视频效果的改进和提升，因此需要进行像素级处理。RTC 实时通信、直播及点播场景业务往往大量使用720p 和 1080p 等高清分辨率，导致处理的数据量非常大，但以上场景对画面质量存在较高要求，不能采用下采样等方式来降低数据量，这要求视频处理算法必须能够兼顾计算实时性及低功耗的要求。从2020年初至今，云信团队在稳定的视频通信质量基础之上，成功研发了多种智能视频处理与编码技术，包括实时 AI 视频超分算法、智能视频增强算法、深度学习的视频编码器等，为直播、点播和 RTC 场景提供核心技术。视频处理技术目前服务于网易云信音视频通话SDK、网易传媒、有道、LOFTER和网易云音乐等产品线。其中，云信团队深耕的技术方向包括轻量级网络，针对视频处理模型、推理设备的深度优化，以及持续改进计算机视觉网络设计和训练方法。
- 轻量级网络
智企云信 RFDECB 是云信团队设计的自适应神经网络，设计采取了逐级的残差特征提取，加上每级的重参数化结构，能更高效地提取图像特征，且运行速度快。RFDECB 在顶级学术会议 CVPR NTIRE 2022 获得高效率超分辨率挑战赛总体性能赛道冠军，以及运行时间赛道季军。
目前，基于 RFDECB 网络的视频超分技术已经落地云信音视频通话 SDK，服务超过 10,000 家客户。云信智码超清云转码技术也是搭建在 RFDECB 网络之上，为客户提供了视频清晰度更高且码率降低 40% 以上的转码，广泛应用于直播点播、互动直播业务。
