ZooKeeper场景实践:(2)集中式配置管理

本文涉及的产品
云解析 DNS,旗舰版 1个月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 1. 基本介绍 在分布式的环境中,可能会有多个对等的程序读取同样的配置文件,程序可以部署在多台机器上,如果配置采用文件的话,则需要为部署该程序的机器也部署一个配置文件,一旦要修改配置的时候就会非常麻烦,需要修改多个配置文件,而且容易产生不一致。 集中式配置管理的思路是,将配置数据集中发布到ZooKeeper的节点上,供订阅者动态获取数据。实现配置的集中式管理和动态更

1. 基本介绍

在分布式的环境中,可能会有多个对等的程序读取同样的配置文件,程序可以部署在多台机器上,如果配置采用文件的话,则需要为部署该程序的机器也部署一个配置文件,一旦要修改配置的时候就会非常麻烦,需要修改多个配置文件,而且容易产生不一致。
集中式配置管理的思路是,将配置数据集中发布到ZooKeeper的节点上,供订阅者动态获取数据。实现配置的集中式管理和动态更新。可以简单的理解为配置数据与程序分离。

2. 场景分析

(1).集中式配置管理

通常来说,大部分项目里面都有约定的配置文件格式,如ini,xml等。一般都会有对应的解析库类。这种解析库类的基本工作模式为:

  1. 读取文件(open)
  2. 解析文件(parse)
  3. 对外提供参数(get)

如果我们将文件的内容全部放到ZooKeeper的某个节点上.解析类将配置数据全部下载到本地,在完成解析的话,则可以用很小的改动就完成集中式配置管理的需求。

  1. 读取Zookeeper上对应路径的数据(read)
  2. 解析文件(parse)
  3. 对外提供参数(get)

(2).动态更新

动态更新是希望不重启程序就能够实时获取更新的配置。在单机环境中,这种配置数据通常会放在数据库中,修改配置只需要update数据库就可以了。
使用ZooKeeper的话,需要节点注册一个watcher,监视配置数据的是否有变化,一定出现变化,则调用新的解析类来重新解析配置数据。
个人认为这个特征使用Zookeeper可以实现,但是并不是所有配置都需要这个功能,这种比较适合对配置敏感,需要实时更新配置的情况。

3. 动手实践

这里我只实现了集中式配置管理的功能,没有实现动态更新,有需要的话你可以尝试自己实现。
由于之前曾经做个一个ini文件的库类解析,这里就直接拿过来改了。根据场景的分析,只需要修改open这个函数就ok了。

看下原来的open函数

/*读取文件名要改为地址和路径*/
int IniFile::open(const string &filename)
{    
    release();
    fname_ = filename;
    IniSection *section = NULL;
    /*读取数据的方式需要修改*/
    FILE *fp = fopen(filename.c_str(),"r");

    if(fp == NULL ){
        return -1;
    }

    string line;
    string comment;

    //增加默认段
    section = new IniSection();
    sections_[""] = section;
    /*获取行的方式需要修改*/
    while(getline(line,fp) > 0){

        ...//省略单行的解析

    }

    fclose(fp);

    return 0;
}


我们有三个主要需要修改的地方,分别是是入参,fopen和getline。下面是修改后的open函数

/*修改入参,host为Zookeeper的ip及端口地址,filepath为配置数据的路径*/
int IniFile::open2(const string &host,const string &filepath)
{    
    release();
    fname_ = filepath;
    IniSection *section = NULL;
    char fp[2048]={0};
    /*ZooKeeper来读取*/
    zkopen(host,filepath,fp,sizeof(fp));

    if(fp[0] == 0){
        return -1;
    }

    string line;
    string comment;

    //增加默认段
    section = new IniSection();
    sections_[""] = section;

    char *p = fp;
    /*调整getline的入参*/
    while(getline2(line,p) > 0){
          ...//省略单行的解析

    }


    return 0;
}


zkopen从Zookeeper的节点上读取数据,并保存到fp中。代码如下:

string zkopen(const string &host,const string &filepath,char *fp,int len)
{
    int timeout = 30000;  
    char path_buffer[512];  
    int bufferlen=sizeof(path_buffer); 
    char conf_data[2048];
    int conf_len=sizeof(conf_data); 

    zoo_set_debug_level(ZOO_LOG_LEVEL_WARN); //设置日志级别,避免出现一些其他信息  

    zhandle_t* zkhandle = zookeeper_init(host.c_str(),NULL, timeout, 0, (char *)"Monitor Test", 0);  

    if (zkhandle ==NULL)  
    {  
        fprintf(stderr, "Error when connecting to zookeeper servers...\n");  
        exit(EXIT_FAILURE);  
    }  

    int ret = zoo_get(zkhandle,filepath.c_str(),0,conf_data,&conf_len,NULL);
    if(ret != ZOK){
        fprintf(stderr,"failed to get the data of path %s!\n",filepath.c_str());
        conf_data[0] = 0;
    }

    zookeeper_close(zkhandle); 

    strncpy(fp,conf_data,len);
    return conf_data;
}


接下来在对比下调用的变化。
原来的调用方式:

  /** read test **/
    IniFile ini;
    ini.open(g_filepath);

    //获取指定段的指定项的值
    int ret = 0;
    string db_name = ini.getStringValue("COMMON","DB",ret);
    string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);


现在的调用方式:

 /** read test **/
    IniFile ini;
    ini.open2(g_host,g_filepath);/*仅此处有变化*/

    //获取指定段的指定项的值
    int ret = 0;
    string db_name = ini.getStringValue("COMMON","DB",ret);
    string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);


由上可见,配置的改造还是很容易的,而且对程序的改动很小。
代码详见https://github.com/Winnerhust/ZooKeeper-Exam/tree/master/Config

5.小提示

需要注意一点,配置文件中通常有很多换行,而ZooKeeper的客户端命令行工作不支持字符转义。比如你要将一个配置文件test.ini的内容保存到Zookeeper上,文件内容如下。
[COMMON]
DB=mysql
PASSWD=root

你可能会在Zookeeper客户端上输入:
[zk: 172.17.0.36:2181(CONNECTED) 39] create /Conf/test.ini [COMMON]\nDB=mysql\nPASSWD=root\n
结果与我们希望的并不一样:
[zk: 172.17.0.36:2181(CONNECTED) 43] get /Conf/test.ini3[COMMON]\nDB=mysql\nPASSWD=root\n

Zookeeper并没有将字符串进行转义,所以不能用ZooKeeper客户端直接上传配置文件。因此在代码里我还增加了一个上传配置的功能。只需要将上一个参数-r就可以了。如将test.ini文件的内容上传到ZooKeeper:
cat test.ini | testcase -r -p/Conf/test.ini -s172.17.0.36:2181


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
存储 Java 文件存储
ZooKeeper 避坑实践: SnapCount设置不合理导致磁盘爆满,服务不可用
本篇通过深入解读ZooKeeper 数据文件生成机制,以及ZooKeeper 中和数据文件生成相关的参数,探究一下 解决 ZooKeeper 磁盘问题的最佳实践。
ZooKeeper 避坑实践: SnapCount设置不合理导致磁盘爆满,服务不可用
|
5月前
|
消息中间件 分布式计算 负载均衡
ZooKeeper在哪些场景中被使用?
【6月更文挑战第21天】ZooKeeper在哪些场景中被使用?
121 38
|
5月前
|
存储 监控 负载均衡
Zookeeper 详解:分布式协调服务的核心概念与实践
Zookeeper 详解:分布式协调服务的核心概念与实践
251 0
|
6月前
|
存储 大数据 Apache
深入理解ZooKeeper:分布式协调服务的核心与实践
【5月更文挑战第7天】ZooKeeper是Apache的分布式协调服务,确保大规模分布式系统中的数据一致性与高可用性。其特点包括强一致性、高可用性、可靠性、顺序性和实时性。使用ZooKeeper涉及安装配置、启动服务、客户端连接及执行操作。实际应用中,面临性能瓶颈、不可伸缩性和单点故障等问题,可通过水平扩展、集成其他服务和多集群备份来解决。理解ZooKeeper原理和实践,有助于构建高效分布式系统。
|
6月前
|
存储 负载均衡 网络协议
ZooKeeper【基础 01】简介+设计目标+核心概念+ZAB协议+典型应用场景
【4月更文挑战第10天】ZooKeeper【基础 01】简介+设计目标+核心概念+ZAB协议+典型应用场景
92 1
|
监控 安全 大数据
阿里服务的ASM、MSE和ARMS都有其各自的应用场景
阿里服务的ASM、MSE和ARMS都有其各自的应用场景
430 39
|
6月前
zookeeper应用场景二:分布式锁
zookeeper应用场景二:分布式锁
40 0
zookeeper应用场景二:分布式锁
|
6月前
|
数据库连接
zookeeper应用场景一:实现配置中心动态更新配置
zookeeper应用场景一:实现配置中心动态更新配置
129 0
|
存储 分布式计算 Java
Apache ZooKeeper - ZK的基本特性与节点&应用场景一览
Apache ZooKeeper - ZK的基本特性与节点&应用场景一览
138 0
|
监控 Dubbo Cloud Native
MSE Sync 实践:上海网鱼 ZooKeeper 集群平滑迁移上云,性能稳定性大幅提升
上海网鱼使用 MSE Sync,将迁移效率提高100%。 使用 MSE ZooKeeper 后, 可维护性,监控能力,稳定性也大幅提高。
MSE Sync 实践:上海网鱼 ZooKeeper 集群平滑迁移上云,性能稳定性大幅提升