课时9:典型案例2:函数计算在音视频场景实践

简介: 课时9:典型案例2:函数计算在音视频场景实践

玩转AIGC训练营:课时9:典型案例2:函数计算在音视频场景实践

课程地址:https://developer.aliyun.com/trainingcamp/1893257e5f7a442c988fd52c818309b3?spm=a2cwt.28237621.J_9603273760.8.31b2b726xTbsZG

课时9:函数计算在音视频场景实践

 

内容介绍:

一、场景介绍

二、最佳实践

三、Demo场景演示

 

一、场景介绍

 

image.png

自从2020年出现新冠疫情音视频领域如短视频、在线教育、视频会议已经成为所有行业各个年龄体的硬需求,而且伴随近几年直播带货的热潮,音视频行业已经成为许多企业创新的新方向,易观千帆数据显示2020年6月国内移动视频领域活跃用户规模为10亿人,视频用户使用时长达到670多亿小时。那么音视频场景的开发者面临什么样的挑战?

image.png

从上图可以看到挑战主要有

1. 需要适配大量不同终端,比如电脑端、移动端、ios、安卓等等,从企业应用 APP 到小程序等,怎么样打造一个通用行业解决方案是非常困难的,往往需要开发者们针对具体的需求重新架构和定制方案。

2. 音视频处理系统对资源方面的需求是非常大的,常见的音视频文件处理、转存、分发、联动这样一个音视频系统的打造对于 CPU、内存、网络资源是要求非常高的,这也造成了整个资源运维上的一些难点,需要管理大量的机器和网络,自建的要求非常高。

3. 主要是业务种类多,变化快,像短视频领域往往是大鱼吃小鱼,企业如果没有创新的话很快会被淘汰,音视频场景业务场景非常复杂,如果迭代比较慢的话,一旦抓不住观众的趋势,那么企业投入将没有意义,所有说这对企业是一个非常大的挑战。

4. 领域有明显的风骨特征,而且往往无法预估爆点的来临,对系统的实时弹性有非常高的渴求。

针对音视频领域的行业背景和客户痛点,基于函数计算的弹性高可用音视频特点、高性能的核心价值在于:

1.高可用、高性能、高弹性

2.百毫秒弹性能力,多可用区的容载,最高端实力八核没有理论的上限 ,而且专注业务开发的特性和低成本可以完全做到,按需使用、按量付费等等结合多种计费模型,能够真正满足企业,更灵活,满足各类定制需求的行业场景,成为短视频、直播带货、在线教育、在线办公领域企业创新的原动力。

函数计算音视频处理方案的优势

ITEM

自建服务

函数计算+函数工作流 Severless

基础设施

需要用户采购、管理、运费机器资源和运行其上的软件、代码

无需运维基础设施,仅需部署函数代码即可,按量付费

开发效率

除了必要的业务逻辑开发,需要自己建立相同线上运行环境,包括相关软件的安装、服务配置、安全更新等一系列问题

只需要专注业务逻辑的开发,配合函数计算控制台或者工具一键部署和任务编排

并行&分布式视频处理

需要很强的开发能力和完善的监控系统来保证稳定性

通过 Serverless 工作流编排即可实现多个视频的并行处理以及单个大视频的分布式处理,稳定性和监控交由云平台

学习上手成本

除了编程语言开发能力和熟悉FFmpeg 以外,可能使用 KBS 或弹性伸缩(ESS),需要了解更多的产品、配置和技术的细节

会编写对应的语言的函数代码和熟悉 FFmpeg 使用即可

项目上线周期

在具体业务逻辑外耗费大量的时间和人力成本,保守估计大约30人天,包括硬件采购、软件和环境配置、系统开发、测试、监控报警、灰度发布系统等

预计3人天,开发调试(2人天+压测观察)(1人天)

 

卓越的工程效率/弹性伸缩免运维/成本优势

如上图,如果要自建一个服务的话,需要采购和管理基础设施,就算现在企业上云,一般情况下也需要购买和运维。比如说 ECS、ACK 等等云上资源,需要管理需集和容性等等。

如果采用阿里云计算的Serverless 方案基础设施是由系统来分配的,开发者无需购买和运维资源,只需部署代码即可,按量付费。

从开发效率来对比,自建服务除了必要的业务逻辑,还需要自己建立相同线上运行环境,然后测试验收相关软件的安装、环境配置、安全更新等等一系列问题,大量的时间浪费在了非业务创新的环境维护上。那么基于函数计算的解决方案,只需要关注业务逻辑的开发,配合函数计算控制台或者工具做到一键部署和任务编排,不需要浪费大量的时间在环境维护上;音视频场景需要海量资源消耗,要保证服务高可用,高性能、高弹性、自建服务需要很强的开发能力和完善的监控系统来保证稳定性,那么通过 Serverless 工作流来编排函数就可以实现多个视频的并行处理以及单个大视频的分布式处理,稳定性和监控交给了云平台来维护,开发者能够快速完成一个并行的,或者分布式处理系统的落地,这个效率是非常高的。

从学习上手成本和项目周期来考虑,函数计算大大减轻了企业负担,更多来考虑业务能力,不用过多去关注系统架构的稳定,系统架构对于能力要求是非常高的,增加了招聘的负担。

项目周期也可以从保守的大约30人天,下降到3人天左右,这对于中小企业甚至于大企业来说函数计算释放的技术红利为企业带来了质的飞跃。

 

二.最佳实践

核心价值:

快速开发上线:2天完成开发上线

弹性高可用:计算力不再是瓶颈,迅速调动大量计算资源进行音频处理, OSS 上的存量千万级音频文件自动触发函数几个小时内全部完成处理

高度自定义:用户需要 aacgain 和 mp3gain 等音频专业工具对音频进行音量平衡,FFmpeg 进行音频降噪处理,通用的云服务解决不了需求

降低成本:在音频和短视频处理这块,用户反馈节省了大约60%的机器成本

image.png

如上图,北京艾斯酷科技有限公司,是一家英语在线教育公司,旗下的朗易思听是英语听力最佳学习工具,拥有数万双语听力材料,曾获苹果 APP Store 首页推荐,产品相继获得豌豆荚最佳设计奖、小米年度最佳应用等奖项;该企业有海量音频需要音频平衡等处理,短视频需要转码等处理,同时还有很多基于机器学习的 NLP 需求,比如分词、语法分析......

那么基于函数计算的方案,客户上传音视频文件到阿里云存储即可,一旦文件上传成功会立即触发函数计算执行,函数计算系统会自动根据任务数实时扩缩容,同时将转码后的音视频文件存到对象存储,利用该方案,客户在两天内就完成了业务开发,同时也满足了客户对于弹性高可用的能力诉求,计算力不再是瓶颈,高峰期函数计算提供了大量计算资源进行音视频处理上传到对象存储的千万级音视频文件自动触发函数计算,几个小时内就能完成整个业务流程,函数代码的高度自定义在当前还没有产品化解决方案的情况下,是该场景最佳实践,在音频和短视频处理场景下,用户反馈节省了大约60%的机器成本。

这是一个比较简单的架构,从简单到复杂,芒果TV案例。
image.png

核心价值:

全 Serverless 架构:整个流程高度自动化,视频的上传、处理、推送、分发在极短的时间内完成。

弹性高可用:计算力不再是瓶颈,时间驱动能力保证实时监听阿里云对象存储的时间,并快速把数据传输到后端算法系统,加快处理速度,提高处理效率。

稳定性:即使在上传视频高峰期,视频处理也不会有任何的排队。保障了服务的稳定性。

降低成本:有效应对短视频的突发在线流量,按需付费,提高资源利用率。

如上图,芒果 TV 是湖南广播电视台旗下唯一互联网视频平台,作为中国唯一一家拥有全终端、全平台牌照的网络视频平台,芒果 TV 每天要处理大量用户视频,为保证数据量突增时的系统瓶颈,减少闲置服务器资源成本;芒果 TV 选择全 Serverless 架构,函数计算的事件触发机制与毫秒级弹性扩容的伸缩能力可以有效解决芒果 TV 遇到的问题。

客户上传视频文件到阿里对象存储然后由对象存储自动触发执行,该过程完全基于阿里云内网,不会产生任何网络费用,同时在视频处理完后函数任务会将结果视频推送到 CDN 系统由 CDN 完成内容的就近分发,那么基于函数计算的 Serverless 架构,整个流程高度的自动化,视频上传、处理、推送、分发在极短的时间内完成,在满足芒果 TV 功能需求的前提下同时做到了弹性高可用计算力不再是瓶颈,事件驱动能力保证了实时监听阿里云对象存储事件,并快速把数据推送到后端系统,加快处理速度,提高处理效率。即使在上传视频高峰期,视频处理也不会有任何排队。保障了服务的稳定性,客户反馈在总体的费用上有明显的降本成果。

这个实例对比上一个是越来越复杂的。

image.png

如上图,天天看看是一家每月服务过亿用户的互联网公司,免费提供电影、电视剧、综艺等视频资源的高清在线点播和下载,也是中国正版影视发行平台,每天有大量的上传视频需要及时转码处理以适配各种终端及网络条件,要求短时间内准备大量的计算资源进行大规模并行转码处理,同时希望基于 FFmpeg 自建的转码服务能简单迁移。

该方案对比芒果 TV 的方案在接入层增加了健全适配多终端的需求,在计算层并行处理的实验要求。

前面两个案例是单个视频文件从头到尾串联处理,对大视频或者并行处理有更高要求的客户可以通过函数计算提供的 API 网关触发器 Serverless 工作流任务编排能力,快速完成业务的迁移、编排整个任务的状态完成整个并行计算的处理基于 FFmpeg 自建的转码服务基本上不需要改动就可以直接部署在函数计算上满足客户弹性高可用、高度自定义降低成本的需求。

image.png

如上图,蓝墨是一家由美国留学生回国创业的高科技公司,专注于移动互联网时代数字出版和移动学习领域的新技术研究及平台运营,自2012年成立以来其业务一直保持高速增长;海量视频教材资源需要剪辑、切分、组合、转码、分辨率调整、客户端适配等一系列复杂的技术工作,且需求量存在极为陡峭的波峰波谷,核心诉求是:节省成本、极致弹性、免运维...

蓝墨的架构中大量的云服务联动,对比前面三个案例增加了日志服务SLS、消息服务 MQ 等等,而且有大量的大文件需要并行处理,蓝墨选择了函数计算作为其 Serverless 架构的核心服务,充分享用云原生架构技术红利,完全按需调用,同时通过任务编排实现复杂的并行处理方案,相比于传统的方式,基于函数计算的方案帮助蓝墨节省了60%左右的 IT 成本投入。做到了无需运维,极高的弹性能力,帮助蓝墨技术团队更专注于复杂业务逻辑的实现,聚焦业务创新,这对于一个初创高速成长的公司是非常有意义的,需要专注于整个业务价值的增长,而不是对于一些底层技术细节追求。

结合四个案例可以看到函数计算在从简单的、快速上云一些服务到复杂的 Serverless 工作流、日志服务、消息服务等等语音服务系统发挥了非常重要的粘合作用。整个流程通过函数计算能够快速整合形成整套 Serverless 方案,能够帮助客户更聚焦业务开发,快速落地。

 

三、Demo场景演示

如何快速开发、调试和上线短视频转码业务。

首先打开函数计算的控制台,可以看到函数计算的一些状态包括指令等等

image.png

回到应用中心可以看到基于模板创建应用,可以看到很多模板,这些模板会以代码的方式提供,再根据模板更改适配的服务,以 FFmpeg 视频转码为例,可以看到整个应用的相关介绍

image.png

场景的实例可以从此视频处看到整个对应的监控包括时长、内存等等。也可以看到更多视频大小的分布执行时间分布等等,帮助实现白屏化,避免重复劳动。

这样的实例是基于函数计算对象存储加上 FFmpeg 实现

Serverless架构的弹性高可用方案也就是最佳实践的第一个案例。这

样案例是需要上传任意格式的文件,自动触发函数执行之后转码,可

以观察整个监控指标。

工作原理就是客户上传视频到对象存储自动触发函数计算立刻执行,函数计算执行之后会把视频文件转存回对象存储,客户在对象存储文件里面拿到转码后的文件。

音视频处理是  CPU 密集型应用,对内存包括 CPU、处理时长都有比较大的需求,如果说默认资源不满足场景的资源需求,可以提交工单扩充更大的资源。

image.png

 

接下来点击部署,部署需要创建对应应用。

创建好后点击部署,通过部署可以看到对应的应用打包出来的逻辑资源。函数计算是以函数作为最小力度的控制单元,可以把函数通过逻辑的服务组合成一个服务的概念,很多服务概念组合成应用概念,可以以一个函数作为业务去使用,也可以更多的函数组合打包成一个应用来提供服务。

image.png

可以看到事件、资源、监控、设置很明显的看到应用模板的内容和相关配置。创建成功后可以看到相关的对应配置,指标、版本管理、相关资源,如果对冷启动有比较高的诉求,可以通过预留资源来满足需求,可以看到示例音视频配置内存是3GB

image.png

也可以看到相关资源配置需求,可以在这里更改资源代码、模板。如果只是一个音视频转码处理,这样不需要改代码,完全满足需求。如果有一些定制化需求,通过更改代码,保存之后可以直接在线进行调试。可以看到配置函数的触发器

image.png

一旦上传了文件可以立马触发这里可以看到日志和对应指标。
image.png

 

如果上传一条视频,可以看到函数计算已经触发成功

image.png

并且日志也可以看到触发执行了一次

image.png

可以看到文件大小1022.076K,

image.png

而原文件是12.449MB,已经被转码处理,再进行一次上传

image.png

可以看到开始和结束22秒处理完成。

通过这样的案例,可以看到函数计算再音视频场景里面怎么样快速落地有了更深的认知。通过这样的 Demo 了解到函数计算在音视频领域核心价值,包括了免运维,帮助客户更 专注业务逻辑开发,也包括音视频在 CPU 密集型场景下发挥的高弹性高可用高性能核心能力,和函数计算低成本能力。

 

相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
6月前
|
运维 监控 Cloud Native
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践
国诚投顾携手阿里云,依托Serverless架构实现技术全面升级,构建高弹性、智能化技术底座,提升业务稳定性与运行效率。通过云原生API网关、微服务治理与智能监控,实现流量精细化管理与系统可观测性增强,打造安全、敏捷的智能投顾平台,助力行业数字化变革。
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践
|
6月前
|
运维 监控 Cloud Native
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践
通过与阿里云深度合作,国诚投顾完成了从传统 ECS 架构向云原生 Serverless 架构的全面转型。新的技术架构不仅解决了原有系统在稳定性、弹性、运维效率等方面的痛点,还在成本控制、API 治理、可观测性、DevOps 自动化等方面实现了全方位升级。
|
10月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
937 69
|
10月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
529 12
|
12月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
569 15
|
12月前
|
Kubernetes 监控 Serverless
基于阿里云Serverless Kubernetes(ASK)的无服务器架构设计与实践
无服务器架构(Serverless Architecture)在云原生技术中备受关注,开发者只需专注于业务逻辑,无需管理服务器。阿里云Serverless Kubernetes(ASK)是基于Kubernetes的托管服务,提供极致弹性和按需付费能力。本文深入探讨如何使用ASK设计和实现无服务器架构,涵盖事件驱动、自动扩展、无状态设计、监控与日志及成本优化等方面,并通过图片处理服务案例展示具体实践,帮助构建高效可靠的无服务器应用。
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
当前,函数计算 FC 已被广泛应用在各种 AI 场景下,函数计算支持通过使用容器镜像部署 AI 推理应用,并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用,并快速解决不同场景下的模型存储选型问题,本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析,以期为您的模型存储决策提供帮助。
|
负载均衡 Serverless 持续交付
云端问道9期实践教学-省心省钱的云上Serverless高可用架构
详细介绍了云上Serverless高可用架构的一键部署流程
259 10
|
11月前
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
AI 场景下,函数计算 GPU 实例模型存储最佳实践
264 0

热门文章

最新文章