《2023云原生实战案例集》——04 互联网——网易云音乐 基于函数计算FC创建音视频算法处理平台

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 《2023云原生实战案例集》——04 互联网——网易云音乐 基于函数计算FC创建音视频算法处理平台

image.png 

客户简介

网易云音乐是一家以音乐为主体的公司,音视频技术被广泛应用于网易云音乐的众多业 务场景中。在音视频算法的服务化部署工作中,需要了解很多相关音视频算法的特点, 如部署环境、执行时间、能否支持并发处理等。网易云音乐基于阿里云函数计算FC创 建网易云音乐音视频算法处理平台,为整个云音乐提供统一的音视频算法处理平台。

客户痛点

客户需要有足够大规模的弹性资源,让开发音视频算法服务的程序员不用再多去关注机 器管理,具体痛点如下:

存量资源和增量资源的差异变大和新算法落地的增多,花在处理存量和增量的资源协 调时间越来越多。

随着算法复杂度的增高,申请或采购机器的时需要关注机器的整体规格、利用率等。

希望存量资源的处理能够加快,在处理存量的时候有足够大的资源,在海量音视频数 据处理时候,能够压缩存量与增量不一致的时间。

实际改造不仅仅是关注最终服务能力,还需要综合考虑投入的ROL具体来看:

关注成本:包含两方面,改造的实施成本和计算资源的成本。在改造成本能够接受的 情况下,未来的IT成本不会大额的增加。

运行环境的支持:开发人员不需要在此类事项上花费过多的时间和精力,更多的关注 算法执行本身。

弹性能力:除了云厂商提供的计算资源池的规模,还会关注弹性算力的启动速度,是 否能够对固定场景进行实例预留,以及是否提供更符合业务诉求的灵活弹性能力,以 更好的支持业务的发展。

解决方案

云音乐的开发环境与函数计算的适配是改造的重点,针对部署、监控和混合云支持进行 了改造。

部署上,网易云音乐充分应用了函数计算在CI/CD上的支持及镜像部署的支持,实现了 镜像的自动化拉取;在监控设计上,一方面利用云上的监控报警功能,另一方面把它转 化为内部已有监控系统的参数,让整体的开发运维处理能够维持一致性,最后是从代码 设计上,考虑能够兼容混合云部署的实现,最终完成了我们音视频处理平台的 ServerLess 改造。

用户价值

引入函数计算的第一阶段,特征提取类的算法得到了 10倍速的提升;稀疏类的算法,可 以理解为日常使用率很低的算法,在成本上得到了极大的节约。除此之外,通过函数计 算的镜像缓存加速能力,优化了我们节点的启动速度,让所有的服务拉起可以在秒级完 成。这些工作,降低了算法运维处理中大量的运维成本,让开发人员能够更聚焦关注在 算法及业务自身。

相关产品

函数计算FC

相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
1月前
|
Kubernetes Cloud Native 容器
完全免费的K8S学习平台:在线集群环境助力你的云原生之路!
完全免费的K8S学习平台:在线集群环境助力你的云原生之路!
51 1
|
1天前
|
Cloud Native 安全 Linux
【云原生之Docker实战】使用Docker部署mBlog微博系统
【5月更文挑战第10天】使用Docker部署mBlog微博系统
10 2
|
9天前
|
存储 Cloud Native 文件存储
云原生之使用Docker部署Nas-Cab个人NAS平台
【5月更文挑战第2天】云原生之使用Docker部署Nas-Cab个人NAS平台
115 1
|
16天前
|
机器学习/深度学习 人工智能 运维
人工智能平台PAI 操作报错合集之请问Alink的算法中的序列异常检测组件,是对数据进行分组后分别在每个组中执行异常检测,而不是将数据看作时序数据进行异常检测吧
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
1月前
|
消息中间件 NoSQL Kafka
云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
该方案描述了一个大数据ETL流程,其中阿里云Kafka消息根据内容触发函数计算(FC)函数,执行针对MongoDB的增、删、改操作。
|
2月前
|
Cloud Native Shell Linux
云原生专题 | 【深入浅出Docker原理及实战】「原理实战体系」零基础+全方位带你学习探索Docker容器开发实战指南(实战技术总结)
云原生专题 | 【深入浅出Docker原理及实战】「原理实战体系」零基础+全方位带你学习探索Docker容器开发实战指南(实战技术总结)
19 0
|
2月前
|
Cloud Native Dubbo 应用服务中间件
【Dubbo3高级特性】「微服务云原生架构」带你从零基础认识搭建公司内部服务用户中心体系(实战指南-序章)
【Dubbo3高级特性】「微服务云原生架构」带你从零基础认识搭建公司内部服务用户中心体系(实战指南-序章)
64 0
|
2月前
|
消息中间件 存储 Cloud Native
【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台
【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台
34 0
|
2月前
|
Java fastjson 数据安全/隐私保护
【Dubbo3技术专题】「云原生微服务开发实战」 一同探索和分析研究RPC服务的底层原理和实现
【Dubbo3技术专题】「云原生微服务开发实战」 一同探索和分析研究RPC服务的底层原理和实现
47 0

相关产品

  • 函数计算