从原子操作走向模板部署,详解云上资源自动化部署新模式

简介: 听阿里云技术专家详解云上资源自动化部署新模式——基于资源编排、Terraform托管、ROS CDK的自动化部署最佳实践。

5 月 29 日,阿里云开发者大会的《应用开发的基础设施云上优化》分论坛上,阿里云技术专家王斌鑫发表了主题为《云上资源自动化部署新模式》的分享,详细阐述了云上资源自动化部署新模式——基于资源编排、Terraform托管、ROS CDK的自动化部署最佳实践。

本文为根据王斌鑫的演讲整理成文。

image.png

当前云上资源部署模式

云上资源传统部署模式的挑战

image.png

大部分用户一般是通过控制台/API/SDK 等传统模式进行云上资源的部署,这种部署模式会面临规模、效率、规范和成本四个方面的挑战:

  1. 规模上,随着业务的发展需要管理的资源规模不断上升,部署和管理种类繁多的资源带来挑战。
  2. 效率上,随着规模上升,手动批量部署变得难以为继。
  3. 规范上,如何确保对基础设施的变更均符合组织管理规范。
  4. 成本上,手动部署的方式无法极致地利用云上弹性能力,其成本仍有优化空间。

阿里云自动化部署模式

资源编排服务(ROS)的核心价值

image.png

面对传统部署模式的挑战,我们在想是否能够帮助客户对云上资源进行自动化部署?因此有了阿里云资源编排服务(ROS),它基于基础设施即代码(IaC)的理念,让开发者和管理员使用模版的方式,编排云上的多种资源,进行自动化部署。

对比手动部署,使用资源编排服务 ROS 进行自动化部署会带来如下好处:

效率提升,针对诸如 SAP 这样复杂的解决方案能有效提升部署效率,也能够帮助 MSP、ISV、onECS 服务提升部署效率;

架构优化,ROS 提供了种类丰富的阿里云最佳实践模板,用户无需丰富的架构经验即可部署解决方案级别的架构;

流程管控,由 IT 管理员统一管理基础设施以避免各类风险,且可基于模板进行审核再进一步结合 CI/CD 以规范化 IT 管理流程;

节省成本,自动化部署方式可以按需部署和释放资源,从而极致地使用云上弹性能力来降低成本。

ROS 的使用流程和核心功能

image.png

使用 ROS 进行自动化部署的过程非常简单:

  1. 按照 ROS 模板语法编写模板,定义想要创建的各类云上资源。
  2. 在 ROS 控制台 使用模板创建资源栈,以执行部署。其中,资源栈是一组资源的集合,这些资源均是模板中定义的资源。
  3. 在 ROS 控制台查看资源栈,可以查看栈中各种资源的创建情况,并可以跳转到对应资源的控制台。

值得一提的是,ROS 服务本身完全免费,集成了身份认证和安全审计的功能,资源创建结果是可视化的,且能够进行多账号跨地域地部署,支持资源栈和实际资源的差异检测并进行修正。

除了直接使用 ROS 模板来做自动化部署,是否还有别的方式呢?

新模式一:Terraform 托管

Terraform 是什么

image.png

Terraform 同 ROS 一样,也是基于基础设施即代码(IaC)的理念的自动化编排工具。它使用一种特定的配置语言(HCL, Hashicorp Configuration Language)来描述基础设施资源,语法样例如上图所示。

Terraform & ROS

image.png

既然 Terraform 和 ROS 都是基于相同的理念的自动化编排工具,那它们的目标也是一致的,都是为用户打造良好的云上部署体验。

两者有很多相同之处,比方说 Terraform 的配置文件相当于 ROS 的模板,Terraform 的状态相当于 ROS 的资源栈,Terraform 的 CLI 程序则相当于 ROS 的编排引擎。

两者也各有优势,Terraform 的语法更简洁,对多云支持地很完善;而 ROS 则提供免费的服务托管,且有云原生的鉴权和审计能力。

那么是否能够将两者的优势结合呢?因此就有了 Terraform 托管能力。

Terraform 托管

image.png

用户直接在本地使用 Terraform 时,需要根据当前的操作系统下载对应的 Terraform CLI,编写模板,管理所使用的各类 Provider 的版本,且要管理状态等文件。

而使用 Terraform 托管功能时,只需在 ROS 的控制台编写 Terraform 模板便可直接部署,后续则通过资源栈来管理模板中定义的资源。底层的各类管理都交给 ROS。

image.png

在使用原理上,ROS 控制台会将 Terraform 模板组合成符合 ROS 语法规范的模板,ROS 服务端会其进行语法校验,生成租户信息,调度到 ROS 的 Terraform 服务进行资源的部署。

定时与多云场景实践

image.png

我们可以在很多场景中使用 Terraform 托管的功能。

场景一:定时部署资源

假设我们需要通过 Terraform 定时部署资源,传统方式下需要本地创建定时任务,执行 Terraform CLI 来做。而在云上,我们可以:

  • 事先编写一个 Terraform 模板,声明想要部署的云资源;
  • 事先编写一个 OOS 运维模板来声明由它调用 ROS 进行资源部署;
  • 在 OOS 中设置为定时执行,OOS 会定时触发 ROS,ROS 则会使用 Terraform 托管功能进行资源部署。

场景二:多云管理

如果我们既想要对多种云平台(如阿里云、AWS 等)的资源进行部署,又想有可视化的结果反馈,可以直接编写 Terraform 的模板来声明各个云上资源,并使用 ROS 的 Terraform 托管功能来进行部署。

Terraofrm 托管总结

image.png

Terraform 托管功能能让用户在云上直接使用 Terraform,和直接使用 ROS 模板部署有一致的控制台体验,且兼容了 ROS 原生的 API,同时兼备了统一的身份认证和权限控制。相比于本地使用 Terraform,不再需要管理多种 Provider 和多个 Terraform CLI 版本。

新模式二:ROS CDK

现有资源定义方式的不足

image.png

事实上,通过直接编写 ROS 模板,或者通过可视化编辑器生成模板,然后进行资源部署的方式是能够大大提升资源的部署效率的,但是也有一些不足之处:

  • 缺少对过程式的支持
  • 复杂场景的编写效率较低
  • 对程序的友好性较低
  • 动态性支持较差

针对这些问题,是否可以更进一步,在模板之上解决这些不足呢?

ROS CDK 是什么

image.png

ROS CDK 是资源编排(ROS)提供的一种命令行工具和多语言 SDK,利用面向对象的高级抽象模式对云资源进行标准定义,从而快速构建云资源。

ROS CDK 以应用作为资源管理的入口,一个应用管理多个资源栈,而每个资源栈中则可以有多个构件。构件可以理解为云上资源的组件,能包含一个或多个资源。

我们可以选择自己熟悉的编程语言(TypeScript/JavaScript/Java/Python/C#)编写应用代码声明想要部署的资源,ROS CDK 会将项目代码转换成 ROS 模板,然后使用该模板进行自动化部署。

使用步骤和项目生命周期

image.png

ROS CDK 的使用步骤也很简单:

  1. 首先,就是初始化项目,配置阿里云的访问凭证(AccessKey)
  2. 其次,就是编写资源代码和测试用例进行本地测试
  3. 最后,通过 CDK CLI 或者直接程序进行资源部署,并管理资源栈

在进行部署的阶段,CDK 会根据用户编写的资源代码进行构造,实例化出各种资源对象;然后在准备阶段做终态前的调整(通常由框架自动完成);进而验证各种资源属性,确保能够正确部署;最终合成出一个 ROS 模板,并使用该模板部署为资源栈。

代码、模板示例

image.png

上图中,左边是 ROS CDK 的资源代码,其中声明了一个 VPC,并使用循环动态生成 3 个 VSwitch。而右边则是由 ROS CDK 生成的 ROS 模板。由此可以看出针对动态生成的场景,ROS CDK 可以大大简化模板编写的复杂度。

应用程序集成 CDK 实现持续部署场景

image.png

假设我们需要实现一个 CI/CD 系统,能够部署这样的资源架构:使用 API 网关中提供 API,使用函数计算的函数提供业务逻辑,要分别部署测试、预发、线上环境的资源,并且支持从测试发布到预发,从预发部署到线上。

针对这样的资源架构,在直接使用 ROS 模板的方式中,需要分别为三个环境准备三个模板,而环境间的部署则还需要动态拼接模板,对应用程序来说并不友好。这里就建议使用 ROS CDK,这样应用程序可以根据环境的不同指定对应的变量,生产对应的资源,从而满足环境的动态性部署。

ROS CDK 总结

image.png

相较于直接使用 ROS 模板部署,使用 ROS CDK 允许开发者选择自己熟悉的编程语言,并能借助其动态特性来实现复杂的编排效果。ROS CDK 能够非常容易地集成到应用程序中,从而能够方便地在程序中进行资源部署。

总结

image.png

企业上云规模逐渐增大,企业云上资源的部署方式从人工开始走向自动,从单云走向多云,从原子操作走向模板部署。随着基础设施即代码的理念而兴起,资源的部署模式也因场景的不同而不同,总体来说有以下四个部署模式的建议:

  1. 作为入门级用户,只需管理有限几个资源,直接使用控制台的方式是最为简单直观的;
  2. 作为企业 IT 管理员,需管理规模较大的云上资源,使用 ROS 模板管理基础设施会是最有效率的选择;
  3. 作为运维研发人员,需要在业务系统中实现资源部署逻辑,那么 ROS CDK 会是最佳选择;
  4. 作为多云管理员,需可视化管理阿里云、AWS、Azure 等多种云的资源,使用 ROS Terraform 托管功能是不二之选。
相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
ROS入门实践
本课程将基于基础设施即代码 IaC 的理念,介绍阿里云自动化编排服务ROS的概念、功能和使用方式,并通过实际应用场景介绍如何借助ROS实现云资源的自动化部署,使得云上资源部署和运维工作更为高效。
相关文章
|
8月前
|
人工智能 Ubuntu 前端开发
Dify部署全栈指南:AI从Ubuntu配置到HTTPS自动化的10倍秘籍
本文档介绍如何部署Dify后端服务及前端界面,涵盖系统环境要求、依赖安装、代码拉取、环境变量配置、服务启动、数据库管理及常见问题解决方案,适用于开发与生产环境部署。
1691 1
|
8月前
|
弹性计算 Devops Shell
用阿里云 DevOps Flow 实现 ECS 部署自动化:从准备到落地的完整指南
阿里云 DevOps Flow 是一款助力开发者实现自动化部署的高效工具,支持代码流水线构建、测试与部署至ECS实例,显著提升交付效率与稳定性。本文详解如何通过 Flow 自动部署 Bash 脚本至 ECS,涵盖环境准备、流水线搭建、源码接入、部署流程设计及结果验证,助你快速上手云上自动化运维。
689 0
|
9月前
|
运维 Prometheus 监控
3 年部署经验总结:用自动化工具轻松管理 300+ 服务器开源软件
三年前接手公司IT部门时,我满怀信心,却发现部署效率低下。尽管使用了GitLab、Jenkins、Zabbix等100+开源工具,部署仍耗时费力。文档厚重如百科,却难解实际困境。一次凌晨三点的加班让我下定决心改变现状。偶然看到一篇国外博客,介绍了自动化部署的高效方式,我深受启发。
356 0
|
11月前
|
存储 文字识别 自然语言处理
通义大模型在文档自动化处理中的高效部署指南(OCR集成与批量处理优化)
本文深入探讨了通义大模型在文档自动化处理中的应用,重点解决传统OCR识别精度低、效率瓶颈等问题。通过多模态编码与跨模态融合技术,通义大模型实现了高精度的文本检测与版面分析。文章详细介绍了OCR集成流程、批量处理优化策略及实战案例,展示了动态批处理和分布式架构带来的性能提升。实验结果表明,优化后系统处理速度可达210页/分钟,准确率达96.8%,单文档延迟降至0.3秒,为文档处理领域提供了高效解决方案。
1026 1
|
11月前
|
传感器 人工智能 监控
通义灵码智能体模式在企业级开发中的应用:以云效DevOps自动化流程为例
通义灵码智能体模式具备语义理解、任务闭环与环境感知能力,结合云效DevOps实现CI/CD异常修复、测试覆盖与配置合规检查,大幅提升研发效率与质量。
466 0
|
7月前
|
弹性计算 人工智能 前端开发
在阿里云ECS上部署n8n自动化工作流:U2实例实战
本文介绍如何在阿里云ECS的u2i/u2a实例上部署开源工作流自动化平台n8n,利用Docker快速搭建并配置定时任务,实现如每日抓取MuleRun新AI Agent并推送通知等自动化流程。内容涵盖环境准备、安全组设置、实战案例与优化建议,助力高效构建低维护成本的自动化系统。
1828 5
|
人工智能 Kubernetes jenkins
容器化AI模型的持续集成与持续交付(CI/CD):自动化模型更新与部署
在前几篇文章中,我们探讨了容器化AI模型的部署、监控、弹性伸缩及安全防护。为加速模型迭代以适应新数据和业务需求,需实现容器化AI模型的持续集成与持续交付(CI/CD)。CI/CD通过自动化构建、测试和部署流程,提高模型更新速度和质量,降低部署风险,增强团队协作。使用Jenkins和Kubernetes可构建高效CI/CD流水线,自动化模型开发和部署,确保环境一致性并提升整体效率。
|
8月前
|
jenkins Java 持续交付
使用 Jenkins 和 Spring Cloud 自动化微服务部署
随着单体应用逐渐被微服务架构取代,企业对快速发布、可扩展性和高可用性的需求日益增长。Jenkins 作为领先的持续集成与部署工具,结合 Spring Cloud 提供的云原生解决方案,能够有效简化微服务的开发、测试与部署流程。本文介绍了如何通过 Jenkins 实现微服务的自动化构建与部署,并结合 Spring Cloud 的配置管理、服务发现等功能,打造高效、稳定的微服务交付流程。
966 0
使用 Jenkins 和 Spring Cloud 自动化微服务部署
|
弹性计算 运维 安全
云上DevOps自动化的最佳实践
本文介绍了云上DevOps自动化最佳实践,重点探讨了企业在上云过程中面临的成本管理、运维效率和弹性等问题。通过阿里云的产品和服务,企业可以实现自动化的资源管理、成本优化和高效运维。文章详细阐述了如何利用标签进行成本分析、选择合适的付费类型和实例规格、以及通过弹性伸缩降低成本。此外,还介绍了新功能发布,如统一的实例运维通道界面、AI辅助的运维工具等,帮助企业提升云上业务的管理和运营效率。

热门文章

最新文章