如何用ACM简化你的Spring Cloud微服务环境配置管理

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,182元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: 本文我们就如何使用阿里云ACM这样的配置管理产品在Spring Cloud中替代Spring Cloud Config帮助简化环境配置管理做一个简单的示例,帮助你理解基于ACM来简化微服务环境配置管理的方案,并会简单比较一下ACM与Spring Cloud Config方案的优劣。

配置的环境属性

毫无疑问,在系统持续交付的过程中,系统最终运行环境的多样性及复杂性毫无疑问增加了我们在配置管理工作上的负担,有时候,甚至不夸张的说,配置就是因环境而生.

这在Eugen Paraschiv的博文 Configuration Must Be Environment Specific里有简单的阐述,在我的博文《现代应用架构中的配置管理面临的挑战》 的容器化、调度与配置管理小节也有深入的阐述。

如果要问,是什么导致了我们应用的构建物(artifact)在各个环境不能保持一样,有时候Docker无法轻易达成“Build Once, Run Anywhere!"的承诺,其答案往往就是环境配置的差异,为帮助你理解,举一些简单的例子:

  • 在开发环境中将logLevel设置为DEBUG,在预发环境logLevel设置为INFO,生产环境里logLevel设置为WARNING
  • 在开发环境中使用4核8G的机器跑数据库,而在生产中用32核96G机器跑数据库
  • 在日常环境执行线程池的最大线程数应该设置为15,而生产环境上这个值应该大一点,默认设为150
  • 在线上环境中,中心机房,应用数据源需要连接A库,而深圳机房,应用应该就近连接使用B库
  • 只有在小淘宝环境,双向同步开关才应该关闭
  • 这次的改动有点大,新的特性仅在线上的杭州单元把该特性开放出来,其它的单元环境先不要开放出来

本文我们就如何使用阿里云ACM这样的配置管理产品在Spring Cloud中替代Spring Cloud Config帮助简化环境配置管理做一个简单的示例,帮助你理解基于ACM来简化微服务环境配置管理的方案,并会简单比较一下ACM与Spring Cloud Config方案的优劣。

场景故事

为了帮助理解需求和场景,在日常工程实践中,我们一般会用用户故事(User Story)的方式,预设一个简单的场景,以此来做阐释和交流,熟悉微服务历史的兄弟一定熟悉下面这张早期的布道图:

acm_pic5_config_service

本文中我们就以Movie Service为例,假设我们需要从关系数据库MySQL(RDS)检索所有电影信息列表,但是在测试环境、预发和生产环境我们需要使用不同的数据库,因为只有生产库才需要顶配的机器。这样我们的应用需要在不同的环境配置不同的数据源配置、连接池配置、数据库安全配置等等,我们会介绍如何基于阿里云ACM的Namespace映射不同环境的能力,为movie service在不同运行环境设置不同的数据源配置。

如下图所示:

创建微服务 Movie Service

  • 新建Spring Boot Starter 微服务应用 movie service

    movie service的业务逻辑很简单,从MySQL(RDS)里列出所有的movie列表,如下简图所示:

    spring_micro_movie_sample_3

    这里我们创建了一个标准的jpa应用(类似Spring官网的样例工程 Accessing data with MySQL,我们的工程结构如下图所示:

spring_micro_movie_sample_1

  • 引入JPA、MySQL、连接池HikariCP以及WEB依赖

              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-web</artifactId>
              </dependency>
    
              <dependency>
                  <groupId>org.springframework.boot</groupId>
                  <artifactId>spring-boot-starter-data-jpa</artifactId>
              </dependency>
    
              <dependency>
                  <groupId>mysql</groupId>
                  <artifactId>mysql-connector-java</artifactId>
                  <scope>runtime</scope>
              </dependency>
    
              <dependency>
                  <groupId>com.zaxxer</groupId>
                  <artifactId>HikariCP</artifactId>
                  <version>2.7.6</version>
              </dependency>
    
  • 创建 MySQL(RDS) 数据库及用户

              mysql> create database db_example; -- Create the new database
              mysql> create user 'springuser'@'localhost' identified by 'ThePassword'; -- Creates the user
              mysql> grant all on db_example.* to 'springuser'@'localhost'; -- Gives all the privileges to the new user on the newly created database
    

    具体可参考 Accessing data with MySQL 中的 'Create the database'小节

  • 创建 WEB Controller

          package com.alibaba.demo.microsvc.controller;
    
          import org.springframework.beans.factory.annotation.Autowired;
          import org.springframework.web.bind.annotation.RequestMapping;
          import org.springframework.web.bind.annotation.ResponseBody;
          import org.springframework.web.bind.annotation.RestController;
          import com.alibaba.demo.microsvc.dao.MovieRepository;
          import com.alibaba.demo.microsvc.model.Movie;
    
          @RestController
          public class MovieController {
         
    
              @Autowired
              MovieRepository movieRepository;
    
              @RequestMapping("/list-movies")
              public @ResponseBody Iterable<Movie> listMovies() {
         
                    return movieRepository.findAll();
              }    
    
         }
    

在ACM中使用Namespace创建隔离的环境配置

注: 在阿里云上使用ACM的前提是开通了该项服务,具体开通流程可以参考文档ACM 快速入门,开通服务并登陆之后,即可进入 ACM 控制台 创建命名空间及配置

  • 在ACM中创建3个环境 (dev,stage,prod)

spring_micro_movie_sample_4

  • 为 dev,stage,prod 不同环境分别创建配置

spring_micro_movie_sample_5

注意 我们完成了什么?

在上一步中,我们为相同配置项针对不同环境的设置了不同的值,例如 'spring.datasource.url'这个配置项,我们通过设置不同的url来为各环境连接不同的数据库,并且仅在生产环境开启SSL (useSSL=true)

    dev:
        spring.datasource.url=jdbc:mysql://localhost:3306/db_example?useSSL=false

    prod:
        spring.datasource.url=jdbc:mysql://30.5.101.169:3306/db_example?useSSL=true

同时,我们也为生产环境(prod)设置了更大的数据库连接池和更小的连接超时时间

    dev:
        spring.datasource.hikari.connection-timeout=60000
        spring.datasource.hikari.maximum-pool-size=10

    prod:
        spring.datasource.hikari.connection-timeout=15000
        spring.datasource.hikari.maximum-pool-size=200

而为了方便开发调试,我们仅在开发环境打开了SQL Trace

    dev:
        spring.jpa.show-sql=true

Movie Service与配置中心ACM集成

现在我们将集成Movie Service与ACM以便从ACM中获取对应环境的配置. 关于如何在Spring Cloud中使用ACM,具体可以参考ACM官方文档 开发指南 > SDK 参考 > Spring Cloud ACM

  • 为movie service引入ACM依赖

       <dependency>
          <groupId>com.alibaba.cloud</groupId>
          <artifactId>spring-cloud-starter-acm</artifactId>
          <version>1.0.1</version>
    </dependency>
    
  • 在application.properties配置ACM连接信息、namespace、accessKey、secretKey等信息

      spring.application.name=movie-service
      spring.application.group=com.alibaba.cloud.acm
    
      alibaba.acm.endpoint=acm.aliyun.com
      alibaba.acm.namespace=<your_namespace_id>
      alibaba.acm.accessKey=<your_ak>        
      alibaba.acm.secretKey=<your_sk>
    

注意: 你可以在ACM的'命名空间详情'或者'配置的示例代码'里找到你的namespace_id,accessKey,secretKey等信息,如下图所示:

spring_micro_movie_sample_6

在浏览器里访问Movie Service

spring_micro_movie_sample_7

查看ACM配置推送刷新信息

如果在movie service引入了spring-boot-starter-actuator依赖并且在application.properties设置了management.security.enabled=false,可以通过端点 http://<>/acm 看到应用的配置消费及刷新情况,如下图:

spring_micro_movie_sample_8

也可以在ACM控制台上查看配置的推送轨迹、配置版本等信息,具体使用方法可参考ACM官方文档,在此不再赘述。

ACM与Spring Cloud Config简单对比

对比项 Spring Cloud Config 阿里云ACM
Spring Cloud 无缝集成 支持 支持
源码分发方式 开源 即将开源
收费模式 免费 免费
大规模(超10万配置)生产验证 无公开的大规模生产验证案例 阿里巴巴数据中心生产环境超百万级配置,每天超亿级配置变更推送,双11等严苛场景验证
配置管控UI控制台 无控制台,依赖IDE,GIT等三方工具 专业的配置管理UI控制台
多语言支持 主要支持java生态,无其它语言的原生客户端 支持nodejs,c++等原生多语言客户端
多机房、同城双活、异地多活、多可用区等架构 依赖GIT,ZooKeeper等能力支持,官方无明确说明 支持
配置变更推送 依赖RabbitMQ/KAFKA 内置的推送机制,无外部依赖
大规模推送时效 依赖GIT Web Hook等SLA,WEB HOOK在企业级大规模生产能力待验证 工业级、毫秒级
配置变更审计能力 内置的审计机制(审计能力符合国家安全等保三级标准)
推送轨迹 无法查看配置推送到客户端的实时监测 有配置变更推送轨迹帮助监控配置变更推送状况
数据隔离 application,profile,label,git repo等隔离策略 除Spring Cloud提供的隔离级别,还提供多租户,app,data_id,group等多级隔离策略
生产运维成本 高(必须对GIT/RabbitMQ等有足够的知识储备和人才储备) 低(无三方组件依赖)
高可用 N/A(客户自己兜底) 99.99%(阿里云兜底)
安全通信 支持SSL 支持SSL
容灾 2级(存储,server缓存) 3级,多了客户端本地容灾能力

扩展思考 - 为什么不把配置放到应用自身的jar包里?

  • 在我的博文《现代应用架构中的配置管理面临的挑战》 里有长篇幅的侧面论述。

  • 如果测试、生产因为配置打出来的包不一样,如何保证你的测试是有效的?

    关注微服务的开发者一定拜读过下面这本微服务圣经

    微服务设计

    在上书中的第6.7及6.8小节对于环境和配置有非常精彩的阐述,这里将原文引用在此

    6.8 服务配置

    服务需要一些配置。理想情况下,这些配置的工作量应该很小,而且仅仅局限于环境间配置的差异。如果你的配置修改了很多服务的基本行为,或者不同环境之间的配置差异很大,那么你可能就只能在一套环境中发现某个特定的问题,这是极其痛苦的事情。
    所以,如果存在不同环境之间的配置差异,应该如何在部署流程中对其进行处理呢?一种方法是对每个环境创建不同的构建物,并把配置内建在该构建物中。刚开始看这种方法好像挺有道理。配置已经被内建了,只需要简单的部署,它应该就能够正常工作了,对吧?其实这是有问题的。还记得持续交付的概念吗?我们想要创建一个构建物作为候选发布版本,并使其沿着流水线向前移动,最终确认它能够被发布到生产环境。想象一下,我构建了一个Customer-Service-Test构建物和Customer-Service-Prod构建物。如果Customer-Service-Test构建物通过了测试,但我真正要部署的构建物却是Customer-Service-Prod,又要如何验证这个软件最终会真正运行在生产环境中呢?
    还有一些其他的挑战。首先,创建这些构建物比较耗时。其次,你需要在构建的时候知道存在哪些环境。你要如何处理敏感的配置数据?我可不想把生产环境的数据库密码提交到源代码中,但是如果在创建这些构建物时需要的话,通常这也是难以避免的。
    一个更好的方法是只创建一个构建物,并将其配置单独管理。从形式上来说,这针对的可能是每个环境一个属性文件,或者是传入到安装过程中的一些参数。还有一个在应对大量微服务时比较流行的方法是,使用专用系统来提供配置,第11章会详细讨论这个话题。

  • 配置漂移

    当应用部署之后运行过程中,尤其是部署在多台服务器上之后,如果使用开发人员或者运维人员手工维护配置文件的方式,日积月累之后,会产生我们所谓的"配置飘移"问题,即由于应用以及依赖的组件的版本变更带来的配置差异,以及不同的团队或者人的多次不同时间点做的不同的修改会导致数据中心中每台机器上的相同的应用的配置在各台机器上或多或少都有细微的差别,而这往往是bug和重大故障隐藏之所。

总结

在本文中,我们以一个测试和生产连接不同的数据库,配置不同的数据源(包括连接池)参数为例,介绍了如何将阿里云配置中心ACM与Spring Cloud一起使用,帮助你在微服务架构中简化你的环境配置管理。

工程下载

本文的样例工程可以从movie-service.tar.gz下载

该工程我们在以下版本环境测试通过:

  • Spring Cloud Edgware.RELEASE
  • Spring Boot 1.5.9.RELEASE
  • HikariCP 2.7.6
  • MySQL 5.7.11
  • ACM 4.2.0
  • ACM Spring Cloud SDK 1.0.1

在你本地运行该工程前,请注意在application.properties里面设置你自己的ACM accessKey和secretKey.

关联阅读

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
18天前
|
数据可视化 Java BI
将 Spring 微服务与 BI 工具集成:最佳实践
本文探讨了 Spring 微服务与商业智能(BI)工具集成的潜力与实践。随着微服务架构和数据分析需求的增长,Spring Boot 和 Spring Cloud 提供了构建可扩展、弹性服务的框架,而 BI 工具则增强了数据可视化与实时分析能力。文章介绍了 Spring 微服务的核心概念、BI 工具在企业中的作用,并深入分析了两者集成带来的优势,如实时数据处理、个性化报告、数据聚合与安全保障。同时,文中还总结了集成过程中的最佳实践,包括事件驱动架构、集中配置管理、数据安全控制、模块化设计与持续优化策略,旨在帮助企业构建高效、智能的数据驱动系统。
将 Spring 微服务与 BI 工具集成:最佳实践
|
23天前
|
Java 数据库 数据安全/隐私保护
Spring 微服务和多租户:处理多个客户端
本文介绍了如何在 Spring Boot 微服务架构中实现多租户。多租户允许单个应用实例为多个客户提供独立服务,尤其适用于 SaaS 应用。文章探讨了多租户的类型、优势与挑战,并详细说明了如何通过 Spring Boot 的灵活配置实现租户隔离、动态租户管理及数据源路由,同时确保数据安全与系统可扩展性。结合微服务的优势,开发者可以构建高效、可维护的多租户系统。
252 127
|
18天前
|
存储 安全 Java
管理 Spring 微服务中的分布式会话
在微服务架构中,管理分布式会话是确保用户体验一致性和系统可扩展性的关键挑战。本文探讨了在 Spring 框架下实现分布式会话管理的多种方法,包括集中式会话存储和客户端会话存储(如 Cookie),并分析了它们的优缺点。同时,文章还涵盖了与分布式会话相关的安全考虑,如数据加密、令牌验证、安全 Cookie 政策以及服务间身份验证。此外,文中强调了分布式会话在提升系统可扩展性、增强可用性、实现数据一致性及优化资源利用方面的显著优势。通过合理选择会话管理策略,结合 Spring 提供的强大工具,开发人员可以在保证系统鲁棒性的同时,提供无缝的用户体验。
|
18天前
|
消息中间件 Java 数据库
Spring 微服务中的数据一致性:最终一致性与强一致性
本文探讨了在Spring微服务中实现数据一致性的策略,重点分析了最终一致性和强一致性的定义、优缺点及适用场景。结合Spring Boot与Spring Cloud框架,介绍了如何根据业务需求选择合适的一致性模型,并提供了实现建议,帮助开发者在分布式系统中确保数据的可靠性与同步性。
|
1月前
|
监控 Java API
Spring Boot 3.2 结合 Spring Cloud 微服务架构实操指南 现代分布式应用系统构建实战教程
Spring Boot 3.2 + Spring Cloud 2023.0 微服务架构实践摘要 本文基于Spring Boot 3.2.5和Spring Cloud 2023.0.1最新稳定版本,演示现代微服务架构的构建过程。主要内容包括: 技术栈选择:采用Spring Cloud Netflix Eureka 4.1.0作为服务注册中心,Resilience4j 2.1.0替代Hystrix实现熔断机制,配合OpenFeign和Gateway等组件。 核心实操步骤: 搭建Eureka注册中心服务 构建商品
370 3
|
3月前
|
JavaScript 前端开发 Java
垃圾分类管理系统基于 Spring Boot Vue 3 微服务架构实操指南
本文介绍了基于Java技术的垃圾分类管理系统开发方案与实施案例。系统采用前后端分离架构,后端使用Spring Boot框架搭配MySQL数据库,前端可选择Vue.js或Java Swing实现。核心功能模块包括垃圾分类查询、科普教育、回收预约等。文中提供了两个典型应用案例:彭湖花园小区使用的Swing桌面系统和基于Spring Boot+Vue的城市管理系统,分别满足不同场景需求。最新技术方案升级为微服务架构,整合Spring Cloud、Redis、Elasticsearch等技术,并采用Docker容器
214 0
|
19天前
|
消息中间件 Java Kafka
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
本文深入解析了 Kafka 和 RabbitMQ 两大主流消息队列在 Spring 微服务中的应用与对比。内容涵盖消息队列的基本原理、Kafka 与 RabbitMQ 的核心概念、各自优势及典型用例,并结合 Spring 生态的集成方式,帮助开发者根据实际需求选择合适的消息中间件,提升系统解耦、可扩展性与可靠性。
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
|
19天前
|
Prometheus 监控 Java
日志收集和Spring 微服务监控的最佳实践
在微服务架构中,日志记录与监控对系统稳定性、问题排查和性能优化至关重要。本文介绍了在 Spring 微服务中实现高效日志记录与监控的最佳实践,涵盖日志级别选择、结构化日志、集中记录、服务ID跟踪、上下文信息添加、日志轮转,以及使用 Spring Boot Actuator、Micrometer、Prometheus、Grafana、ELK 堆栈等工具进行监控与可视化。通过这些方法,可提升系统的可观测性与运维效率。
日志收集和Spring 微服务监控的最佳实践
|
12天前
|
监控 安全 Java
Spring Cloud 微服务治理技术详解与实践指南
本文档全面介绍 Spring Cloud 微服务治理框架的核心组件、架构设计和实践应用。作为 Spring 生态系统中构建分布式系统的标准工具箱,Spring Cloud 提供了一套完整的微服务解决方案,涵盖服务发现、配置管理、负载均衡、熔断器等关键功能。本文将深入探讨其核心组件的工作原理、集成方式以及在实际项目中的最佳实践,帮助开发者构建高可用、可扩展的分布式系统。
55 1