分布式系列教程(18) -分布式配置中心Apollo安装与详解

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 分布式系列教程(18) -分布式配置中心Apollo安装与详解

代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/SpringBoot-Apollo-Demo

本文目录结构:

l____引言

l____ 1. Apollo简介

l________1.1 Apollo特点

l________1.2 Apollo整体架构原理

l____2. Apollo配置中心搭建

l________2.1 版本要求

l________2.2 Apollo数据库设计

l________2.3 Apollo服务搭建

l____3. SpringBoot客户端代码测试

l____总结

引言

项目中配置文件比较繁杂,而且不同环境的不同配置修改相对频繁,每次发布都需要对应修改配置,如果配置出现错误,需要重新打包发布,时间成本较高,因此需要做统一的分布式配置中心,能做到自动更新配置文件信息,解决以上问题。

常用的分布式配置中心框架:

  • Disconf(依赖于zookpeer)
  • Zookpeer(保证配置文件信息实时更新 -事件通知)
  • diamond(阿里巴巴研发)
  • Apollo阿波罗(携程研发)
  • Redis
  • xxl-conf

大型互联网公司自己内部都有自己独立分布式配置中心、独立RPC、独立分布式各种解决方案。

学习分布式配置中心之前,需要明确以下两个中心,区分好:

  • 注册中心:主要解决rpc服务治理
  • 分布式配置中心:主要解决分布式配置文件管理

本文主要以Apollo分布式配置中心为主题来讲解。

1. Apollo简介

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。

1.1 Apollo特点

  • 统一管理不同环境、不同集群的配置: 所有的配置发布都有版本概念,从而可以方便的支持配置的回滚。
  • 配置修改实时生效(热发布): 用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置,并通知到应用程序
  • 灰度发布:支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有应用实例。
  • 权限管理、发布审核、操作审计: 应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人为的错误。所有的操作都有审计日志,可以方便的追踪问题。
  • Apollo还提供了Java和.Net的原生客户端,方便应用集成支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便应用使用(需要Spring 3.1.1+)同时提供了Http接口,非Java和.Net应用也可以方便的使用。
  • 提供开放平台API:Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理等特性。不过Apollo出于通用性考虑,对配置的修改不会做过多限制,只要符合基本的格式就能够保存。对于有些使用方,它们的配置可能会有比较复杂的格式,如xml, json,需要对格式做校验。还有一些使用方如DAL,不仅有特定的格式,而且对输入的值也需要进行校验后方可保存,如检查数据库、用户名和密码是否匹配。对于这类应用,Apollo支持应用方通过开放接口在Apollo进行配置的修改和发布,并且具备完善的授权和权限控制。
  • 部署简单 :配置中心作为基础服务,可用性要求非常高,这就要求Apollo对外部依赖尽可能地少,目前唯一的外部依赖是MySQL,所以部署非常简单,只要安装好Java和MySQL就可以让Apollo跑起来,Apollo还提供了打包脚本,一键就可以生成所有需要的安装包,并且支持自定义运行时参数。

1.2 Apollo整体架构原理

2. Apollo配置中心搭建

Apollo配置中心的搭建分为两步:Apollo数据库设计和Apollo服务的搭建。

2.1 版本要求

Java:

  • Apollo服务端:1.8+
  • Apollo客户端:1.7+

MySQL:

  • 版本要求:5.6.5+

虚拟机内存:

  • 必须是2G以上,不然启动不了项目

Apollo的表结构对timestamp使用了多个default声明,所以需要5.6.5以上版本。

2.2 Apollo数据库设计

Apollo服务端共需要两个数据库:ApolloPortalDB和ApolloConfigDB,我们把数据库、表的创建和样例数据都分别准备了sql文件,只需要导入数据库即可。

在本地MySQL数据库执行apolloportaldb.sql和apolloconfigdb.sql文件:

apolloconfigdb apolloportaldb

调整ApolloPortalDB.ServerConfig表:

字段解析,可以根据实际情况设置:

  1. apollo.portal.envs - 可支持的环境列表:默认值是dev,如果portal需要管理多个环境的话,以逗号分隔即可(大小写不敏感),例如:DEV,FAT,UAT,PRO。
  2. organizations - 部门列表:Portal中新建的App都需要选择部门,所以需要在这里配置可选的部门信息。
  3. superAdmin - Portal超级管理员 默认值apollo(默认用户),多个账号以英文逗号分隔(,)。
  4. consumer.token.salt - consumer token salt 如果会使用开放平台API的话,可以设置一个token salt。如果不使用,可以忽略。
  5. wiki.address portal上“帮助”链接的地址,默认是Apollo github的wiki首页,可自行设置。
  6. admin.createPrivateNamespace.switch 是否允许项目管理员创建private namespace。设置为true允许创建,设置为false则项目管理员在页面上看不到创建private namespace的选项。

3.调整ApolloConfigDB.ServerConfig表

字段解析,可以根据实际情况设置:

  1. eureka.service.url - Eureka服务Url: apollo-configservice和apollo-adminservice都需要向eureka服务注册,需要配置eureka服务地址。默认apollo-configservice本身就是一个eureka服务,所以只需要填入apollo-configservice的地址即可(本文以此讲解)。如果希望将Config
    Service和Admin Service注册到公司统一的Eureka上,需修改Config Service。
  2. namespace.lock.switch - 一次发布只能有一个人修改开关:用于发布审核,这是一个功能开关,如果配置为true的话,那么一次配置发布只能是一个人修改,另一个发布。
  3. config-service.cache.enabled - 是否开启配置缓存:这是一个功能开关,如果配置为true的话,config
    service会缓存加载过的配置信息,从而加快后续配置获取性能。(默认为false,开启前请先评估总配置大小并调整config
    service内存配置。)

2.3 Apollo服务搭建

下载Quick Start安装包:https://github.com/nobodyiam/apollo-build-scripts,安装包有58M,所以下载挺慢的,因为是一个可以自启动的jar包,里面包含了所有依赖jar包以及一个内置的tomcat容器。

1.上传到部署的服务器(我的服务器地址是:192.168.162.131):

2.解压并修改demo.sh文件:

unzip apollo-build-scripts-master.zip 
cd apollo-build-scripts-master
vi demo.sh

3.启动项目:

因为是启动3个项目,所以要耐心等候。

./demo.sh start

等了大概5分钟,3个服务终于全部跑起来了,可以看到占内存1.2G,挺好资源的:

3.登录注册中心(ConfigService)和Apollo门户(Portal)看看:

登录注册中心:http://192.168.162.131:8080/,可以看到adminservice和configservice都注册上了。

登录Apollo门户(http://192.168.162.131:8070/signin),登录账号:apollo,密码:admin

可以看到apollo的主界面是这样的:

3. SpringBoot客户端代码测试

代码已上传到Github,可以下载来参考:https://github.com/ylw-github/SpringBoot-Apollo-Demo

在没有引入Apollo之前,每次修改配置信息都要重启服务器,需要先在配置文件里配置参数,例如(application.yml):

server:
  port: 8090
spring:
  application:
    name: apollo-test
login:
  userName: ylw
  passWord: 123

Controller:

package com.ylw.controller;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class IndexController {
    @Value("${login.userName}")
    private String userName;
    @Value("${login.passWord}")
    private String passWord;
    @RequestMapping("/getLoginMsg")
    public String setString() {
        return userName + " ---- " + passWord;
    }
}

浏览器请求:http://localhost:8090/getLoginMsg,如果需要修改userName和passWord,那么就需要重启服务器。

这个时候分布式配置中心概念就出来了,百花齐放,本文的Apollo分布式配置中心亦如此。下面看看客户端如何集成Apollo分布式配置中心:

1.首先配置文件不需要写配置内容了,删去:

server:
  port: 8090
spring:
  application:
    name: apollo-test
#login:
#  userName: ylw
#  passWord: 123

2.Java代码当然也需要修改,不然代码编译的时候会报错,设置个默认值default。

package com.ylw.controller;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class IndexController {
    @Value("${login.userName:default}")
    private String userName;
    @Value("${login.passWord:default}")
    private String passWord;
    @RequestMapping("/getLoginMsg")
    public String setString() {
        return userName + " ---- " + passWord;
    }
}

3.添加依赖

<dependency>
    <groupId>com.ctrip.framework.apollo</groupId>
    <artifactId>apollo-client</artifactId>
    <version>1.5.0</version>
</dependency>
<dependency>
    <groupId>com.ctrip.framework.apollo</groupId>
    <artifactId>apollo-core</artifactId>
    <version>1.5.0</version>
</dependency>

4.启动类添加注解:

@Configuration
@EnableApolloConfig

5.新建app.properties,并配置apollo信息(src/main/resources/META-INF/app.properties):

6.在Apollo平台新建任务

7.添加配置信息:

8.启动客户端项目

9.发布

点击发布:

可以看到已发布:

浏览器输入(http://localhost:8090/getLoginMsg),可以看到配置信息被修改了:

这样就实现了没有重启服务器来修改配置文件。

最后附上Apollo配置中心设计原理官方链接:https://github.com/ctripcorp/apollo/wiki/Apollo%E9%85%8D%E7%BD%AE%E4%B8%AD%E5%BF%83%E8%AE%BE%E8%AE%A1

总结

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
26天前
|
数据库
如何在Seata框架中配置分布式事务的隔离级别?
总的来说,配置分布式事务的隔离级别是实现分布式事务管理的重要环节之一,需要认真对待和仔细调整,以满足业务的需求和性能要求。你还可以进一步深入研究和实践 Seata 框架的配置和使用,以更好地应对各种分布式事务场景的挑战。
28 6
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
52 1
|
2月前
|
SQL NoSQL MongoDB
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
51 0
|
2月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
53 0
|
4月前
|
UED 存储 数据管理
深度解析 Uno Platform 离线状态处理技巧:从网络检测到本地存储同步,全方位提升跨平台应用在无网环境下的用户体验与数据管理策略
【8月更文挑战第31天】处理离线状态下的用户体验是现代应用开发的关键。本文通过在线笔记应用案例,介绍如何使用 Uno Platform 优雅地应对离线状态。首先,利用 `NetworkInformation` 类检测网络状态;其次,使用 SQLite 实现离线存储;然后,在网络恢复时同步数据;最后,通过 UI 反馈提升用户体验。
108 0
|
4月前
|
机器学习/深度学习 TensorFlow 数据处理
分布式训练在TensorFlow中的全面应用指南:掌握多机多卡配置与实践技巧,让大规模数据集训练变得轻而易举,大幅提升模型训练效率与性能
【8月更文挑战第31天】本文详细介绍了如何在Tensorflow中实现多机多卡的分布式训练,涵盖环境配置、模型定义、数据处理及训练执行等关键环节。通过具体示例代码,展示了使用`MultiWorkerMirroredStrategy`进行分布式训练的过程,帮助读者更好地应对大规模数据集与复杂模型带来的挑战,提升训练效率。
107 0
|
4月前
|
Java 测试技术 Spring
分布式之配置中心
分布式之配置中心
58 1
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能平台PAI产品使用合集之如何配置cluster系统自动生成分布式参数
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
存储 搜索推荐 Java
微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门
微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门
86 2
|
6月前
|
SQL 分布式计算 关系型数据库
分布式系统详解 -- Hive1.2.1 安装
分布式系统详解 -- Hive1.2.1 安装
72 1