通过阿里云云原生 API 网关在国泰落地，目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理，在日均消耗近亿 Token 的同时，做到了对每个请求都进行敏感信息过滤，不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计，大大降低使用大模型的数据安全风险。通过网关的 AI 插件，国泰产险做到了每个 Token 都知道是谁在用，用在哪个场景，给后续分析和成本管控提供了坚实的数据支撑。
本文介绍了Serverless的发展历程及SAE（Serverless Application Engine）产品。首先，回顾了云计算从物理机、虚拟机到容器化再到Serverless的演进过程，并解释了Serverless的核心特点：无需管理底层资源、自动弹性伸缩、聚焦业务价值。接着，详细介绍了SAE的功能与优势，包括简化部署流程、支持多种弹性策略和提供丰富的运维工具。SAE的收费模式主要基于CPU和内存使用量，辅以请求数和流量计费，用户可以选择按量付费或预付费资源包。最后，通过极氪汽车、南瓜电影、视野数科和SKG等实际案例，展示了SAE在不同行业的应用效果。
对于众多开发者而言，Serverless 架构的核心优势在于其能够无缝集成多种云产品与组件，从而使得开发者可以更加专注于核心业务逻辑和创新。此外，Serverless 架构还提供了按量付费的灵活计费模式，进一步降低了资源成本。使用云应用开发平台 CAP，在 AI 领域，企业就可以专注于模型训练、算法优化等关键任务，让 AI 应用的开发、部署以及全生命周期的管理更加简单。可以预见 Serverless 技术将催生一系列创新且有趣的应用，而这些应用将不断拓展 AI 技术的边界。
本方案利用函数计算的无服务器架构，您可以在函数计算控制台选择魔搭（ModelScope）开源大模型应用模板；同时，我们将利用文件存储 NAS ，为应用服务所需的大模型和相关文件提供一个安全的存储环境；最终通过访问提供的域名进行模型的调用与验证。仅需三步，即可玩转目前热门 AI 大模型。
目前阿里云 ARMS 已经基于 LLM 大模型实现了单链路智能诊断，综合调用链、方法栈、异常堆栈、SQL、指标等多模态数据，结合链路诊断领域专家经验，有效识别单次请求的错慢根因，并给出相应的优化建议。
将 Qwen2.5 模型部署于函数计算 FC，用户能依据业务需求调整资源配置，有效应对高并发场景，并通过优化资源配置，如调整实例规格、多 GPU 部署和模型量化来提升推理速度。此外，函数计算支持多样化 GPU 计费模式（按需计费、阶梯定价、极速模式），可根据业务需求调整，在面对高频请求和大规模数据处理时，能够显著降低综合成本。
通过阿里云的 Serverless 产品和技术，盟主直播实现了核心直播平台的云原生架构升级，不仅解决了盟主直播现有业务面临的挑战，还面向未来为盟主直播的平台扩展性提供了技术基础，有效提升了行业竞争力。
XXL-JOB 是一个开源的分布式任务调度平台，开箱即用、简单易上手，得到了很多开发者的喜爱。和其他中间件开源项目一样，当开发者把开源项目部署到公共云，应用到企业级场景中时，就会在稳定性、性能、安全、其他云产品间集成体验上提出更高的要求。基于此背景，阿里云微服务引擎 MSE 基于自研的分布式任务调度平台 SchedulerX，通过兼容 XXL-JOB 客户端的通信协议，在开源 XXL-JOB 版本的基础上，提升了稳定性、安全、性能、可观测等能力，满足企业客户的需求。此外，为方便测试，提供了一个月 400 元额度的免费试用和预付费首购 5 折、续费 6.5 折起的优惠。
