Serverless AI训练营:课时2:初识 Serverless(下)(二)
课时2:初识 Serverless(下)(二)
视频应用、社交应用等场景下,用户上传的图片、音视频往往总量大、频率高,对处理系统的实时性和并发能力都有较高的要求。例如:对于用户上传的图片,可以使用多个函数对其分别处理,包括图片的压缩、格式转换、鉴黄鉴恐等,以满足不同场景下的需求。
首先,让我们讨论一下实时文件处理的应用场景。这个场景涉及将照片、视频和文件上传到对象存储,然后通过对象存储触发函数计算来进行处理和运算。
这些函数可以进行压缩、图像处理、安全策略检查等操作,以提供更好的用户体验和数据管理。例如,当用户上传一张照片时,系统可以自动压缩并在图像列表中显示,但在查看图像详情时显示原始图像。这种方式可以节省带宽和提高性能。
函数计算在这个场景中有几个优势。首先,它是按量付费的,可以根据实际使用情况灵活计费。其次,它具有弹性扩缩容的能力,可以应对不同负载情况。因此,你可以在函数计算上执行传统云主机或容器服务上的任务,并获得更好的性能和成本效益。
接下来,是数据的ETL(Extract, Transform, Load)处理场景。在这个场景中,你可以上传需要分析的文件到存储,然后通过对象存储触发函数来进行数据拆分、转换和加载操作。
函数可以执行任务拆分和其他操作,然后并发调用其他函数来处理数据。这涉及到业务的编排,根据不同的情况,决定如何处理数据和调用哪些函数。这个编排过程可以通过函数调用集成到业务代码中,也可以通过工作流产品来实现。
总之,函数计算在这些应用场景中提供了灵活性、性能和成本效益,并且可以用于各种任务的自动化处理和编排。
实际上,数据ETL处理和实时数据处理在一定程度上可以解决传统大数据处理的问题,并且可以很好地融合到大数据课程中。这种架构可以有效地处理数据流和任务编排,为数据处理提供了更多的灵活性和效率。
此外,实时数据处理也是一个非常重要的应用场景。用户上传数据到对象存储或消息队列,然后触发函数来执行各种操作。例如,用户提交电子邮件地址,然后函数可以触发邮件发送、日志记录等操作。这种实时数据处理方式非常灵活,并且适用于各种场景。
还有一个非常重要的应用是与机器学习结合。你可以使用函数计算来处理机器学习模型的推理请求。函数可以加载模型,执行预测并返回推理结果。此外,你还可以使用函数计算进行模型训练,包括增量训练和强化学习等技术。
总之,函数计算是一个非常强大的工具,可以在各种领域和场景中发挥作用,包括大数据处理、实时数据处理和机器学习等。通过结合不同的服务和技术,可以实现更高效的数据处理和应用开发。
在AI模型完成训练后,对外提供推理服务时,可以使用Serverless架构,通过将数据模型包装在调用函数中,在实际用户请求到达时再运行代码。相对于传统的推理预测,这样做的好处是无论是函数模块还是后端的GPU服务器,以及对接的其他相关的机器学习服务,都是可以进行按量付费以及自动伸缩,从而保证性能的同时也确保了服务的稳定
实际上,除此之外,就像我刚才提到的那样,各个都会有应用或客户端。之前的研究报告也都与这相关,与我刚才提到的例子相符。例如,用户可以访问站点,可能会有一个内容分发网络,包括诸如CDN等网关,这些都可能出现在这里。所以,像刚才有人问的,是否可以在流量层面进行一些防控措施,是可以的。
这也包括一些外围产品,可以轻松地接入。计算方面可以使用函数计算,日志可以发送到日志服务,数据可以存储在数据库中,而文件存储可以在文件存储或对象存储中完成。
所以,我们所需的主要是一个函数。而所有这些外围和其他辅助的东西,以前可能需要关注,但现在都已经存在了。还有一个典型案例是音视频处理。与之前类似,用户上传视频,然后通过函数进行处理。这时候可能会触发一系列操作,包括视频拆分、分表转换和合并。
就像在上传视频时,我们可能会注意到有一个处理过程,这可能需要几个小时或可能很快,这取决于服务器资源和状态。但是,我们完全可以将其切片处理然后合并。所以,在体验、性能和成本方面,这都有很多优势。
Serverless架构和云厂商所提供的其他云产品进行结合,开发者能够构建可弹性扩展的移动或
Web应用程序-轻松创建丰富的无服务器后端,而且这些程序可在多个数据中心高可用运行,无需在可扩展性、备份冗余方面执行任何管理工作。
视频应用、社交应用等场景下,用户会上传一些视频,通常情况下,上传的视频会进行一些转码,包括转换为不同的清晰度,通过Serverless技术与对象存储相关产品组合,利用对象存储相关触发器,即上传者将视频上传到对象存储中,触发Serverless架构的计算平台(FaaS平台)对其进行处理,处理之后将其重新存储到对象存储中,这个时候其他用户就可以选择编码后的视频进行播放,包括对不同清晰度的选择等。
关于这些产品,实际上在整个调研报告中,不仅仅是调研报告,而且在他们的大图中,我可以看到有很多关键点。一些产品,包括AWS、阿里云的函数计算、阿里云的引擎,当然还包括其他厂商的产品,都在云计算领域具有显著影响。在阿里云方面,这张图是去年云栖大会上发布的,是一份外部演示的PPT,其中的一页也被我引用了。关于架构,它呈现了一个相当完善的整体形态。
首先,阿里云的很多组件都是自建和自研的,这在一定程度上提供了高度的可控性和技术基础。
整个架构对底层技术的要求相当高,这在某种程度上是具有竞争优势的。在更高层面上,他们提供了众多产品,包括函数计算、引擎等,以及其他相关服务,构建了完善的生态系统。