《2023云原生实战案例集》——04 互联网——网易云音乐 基于函数计算FC创建音视频算法处理平台

本文涉及的产品
应用实时监控服务-用户体验监控,每月100OCU免费额度
性能测试 PTS,5000VUM额度
应用实时监控服务-应用监控,每月50GB免费额度
简介: 《2023云原生实战案例集》——04 互联网——网易云音乐 基于函数计算FC创建音视频算法处理平台

image.png 

客户简介

网易云音乐是一家以音乐为主体的公司,音视频技术被广泛应用于网易云音乐的众多业 务场景中。在音视频算法的服务化部署工作中,需要了解很多相关音视频算法的特点, 如部署环境、执行时间、能否支持并发处理等。网易云音乐基于阿里云函数计算FC创 建网易云音乐音视频算法处理平台,为整个云音乐提供统一的音视频算法处理平台。

客户痛点

客户需要有足够大规模的弹性资源,让开发音视频算法服务的程序员不用再多去关注机 器管理,具体痛点如下:

存量资源和增量资源的差异变大和新算法落地的增多,花在处理存量和增量的资源协 调时间越来越多。

随着算法复杂度的增高,申请或采购机器的时需要关注机器的整体规格、利用率等。

希望存量资源的处理能够加快,在处理存量的时候有足够大的资源,在海量音视频数 据处理时候,能够压缩存量与增量不一致的时间。

实际改造不仅仅是关注最终服务能力,还需要综合考虑投入的ROL具体来看:

关注成本:包含两方面,改造的实施成本和计算资源的成本。在改造成本能够接受的 情况下,未来的IT成本不会大额的增加。

运行环境的支持:开发人员不需要在此类事项上花费过多的时间和精力,更多的关注 算法执行本身。

弹性能力:除了云厂商提供的计算资源池的规模,还会关注弹性算力的启动速度,是 否能够对固定场景进行实例预留,以及是否提供更符合业务诉求的灵活弹性能力,以 更好的支持业务的发展。

解决方案

云音乐的开发环境与函数计算的适配是改造的重点,针对部署、监控和混合云支持进行 了改造。

部署上,网易云音乐充分应用了函数计算在CI/CD上的支持及镜像部署的支持,实现了 镜像的自动化拉取;在监控设计上,一方面利用云上的监控报警功能,另一方面把它转 化为内部已有监控系统的参数,让整体的开发运维处理能够维持一致性,最后是从代码 设计上,考虑能够兼容混合云部署的实现,最终完成了我们音视频处理平台的 ServerLess 改造。

用户价值

引入函数计算的第一阶段,特征提取类的算法得到了 10倍速的提升;稀疏类的算法,可 以理解为日常使用率很低的算法,在成本上得到了极大的节约。除此之外,通过函数计 算的镜像缓存加速能力,优化了我们节点的启动速度,让所有的服务拉起可以在秒级完 成。这些工作,降低了算法运维处理中大量的运维成本,让开发人员能够更聚焦关注在 算法及业务自身。

相关产品

函数计算FC

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
4月前
|
数据采集 机器学习/深度学习 算法
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
73 0
|
10天前
|
机器学习/深度学习 前端开发 算法
婚恋交友系统平台 相亲交友平台系统 婚恋交友系统APP 婚恋系统源码 婚恋交友平台开发流程 婚恋交友系统架构设计 婚恋交友系统前端/后端开发 婚恋交友系统匹配推荐算法优化
婚恋交友系统平台通过线上互动帮助单身男女找到合适伴侣,提供用户注册、个人资料填写、匹配推荐、实时聊天、社区互动等功能。开发流程包括需求分析、技术选型、系统架构设计、功能实现、测试优化和上线运维。匹配推荐算法优化是核心,通过用户行为数据分析和机器学习提高匹配准确性。
38 3
|
2月前
|
存储 缓存 算法
前端算法:优化与实战技巧的深度探索
【10月更文挑战第21天】前端算法:优化与实战技巧的深度探索
31 1
|
2月前
|
存储 算法 搜索推荐
这些算法在实际应用中有哪些具体案例呢
【10月更文挑战第19天】这些算法在实际应用中有哪些具体案例呢
63 1
|
3月前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
116 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
2月前
|
算法 数据可视化 新制造
Threejs路径规划_基于A*算法案例完整版
这篇文章详细介绍了如何在Three.js中完整实现基于A*算法的路径规划案例,包括网格构建、路径寻找算法的实现以及路径可视化展示等方面的内容。
91 0
Threejs路径规划_基于A*算法案例完整版
|
3月前
|
大数据 UED 开发者
实战演练:利用Python的Trie树优化搜索算法,性能飙升不是梦!
在数据密集型应用中,高效搜索算法至关重要。Trie树(前缀树/字典树)通过优化字符串处理和搜索效率成为理想选择。本文通过Python实战演示Trie树构建与应用,显著提升搜索性能。Trie树利用公共前缀减少查询时间,支持快速插入、删除和搜索。以下为简单示例代码,展示如何构建及使用Trie树进行搜索与前缀匹配,适用于自动补全、拼写检查等场景,助力提升应用性能与用户体验。
71 2
|
3月前
|
算法 搜索推荐 开发者
别再让复杂度拖你后腿!Python 算法设计与分析实战,教你如何精准评估与优化!
在 Python 编程中,算法的性能至关重要。本文将带您深入了解算法复杂度的概念,包括时间复杂度和空间复杂度。通过具体的例子,如冒泡排序算法 (`O(n^2)` 时间复杂度,`O(1)` 空间复杂度),我们将展示如何评估算法的性能。同时,我们还会介绍如何优化算法,例如使用 Python 的内置函数 `max` 来提高查找最大值的效率,或利用哈希表将查找时间从 `O(n)` 降至 `O(1)`。此外,还将介绍使用 `timeit` 模块等工具来评估算法性能的方法。通过不断实践,您将能更高效地优化 Python 程序。
70 4
|
3月前
|
机器学习/深度学习 人工智能 算法
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台。果蔬识别系统,本系统使用Python作为主要开发语言,通过收集了12种常见的水果和蔬菜('土豆', '圣女果', '大白菜', '大葱', '梨', '胡萝卜', '芒果', '苹果', '西红柿', '韭菜', '香蕉', '黄瓜'),然后基于TensorFlow库搭建CNN卷积神经网络算法模型,然后对数据集进行训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面,实现用户上传一张果蔬图片识别其名称。
70 0
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台

相关产品

  • 函数计算