分布式服务Dubbo+Zookeeper安全认证

简介:

前言

由于之前的服务都是在内网,Zookeeper集群配置都是走的内网IP,外网不开放相关端口。最近由于业务升级,购置了阿里云的服务,需要对外开放Zookeeper服务。

问题

Zookeeper+dubbo,如何设置安全认证?不想让其他服务连接Zookeeper,因为这个Zookeeper服务器在外网。

查询官方文档:

Zookeeper 是 Apacahe Hadoop 的子项目,是一个树型的目录服务,支持变更推送,适合作为 Dubbo 服务的注册中心,工业强度较高,可用于生产环境,并推荐使用。

zookeeper

流程说明:

  • 服务提供者启动时: 向 /dubbo/com.foo.BarService/providers 目录下写入自己的 URL 地址
  • 服务消费者启动时: 订阅 /dubbo/com.foo.BarService/providers 目录下的提供者 URL 地址。并向 /dubbo/com.foo.BarService/consumers 目录下写入自己的 URL 地址
  • 监控中心启动时: 订阅 /dubbo/com.foo.BarService 目录下的所有提供者和消费者 URL 地址

支持以下功能:

  • 当提供者出现断电等异常停机时,注册中心能自动删除提供者信息
  • 当注册中心重启时,能自动恢复注册数据,以及订阅请求
  • 当会话过期时,能自动恢复注册数据,以及订阅请求
  • 当设置 < dubbo:registry check="false" /> 时,记录失败注册和订阅请求,后台定时重试
  • 可通过 < dubbo:registry username="admin" password="1234" /> 设置 zookeeper 登录信息
  • 可通过 < dubbo:registry group="dubbo" /> 设置 zookeeper 的根节点,不设置将使用无根树
  • 支持 号通配符 < dubbo:reference group="" version="*" />,可订阅服务的所有分组和所有版本的提供者

官网文档第五条,明确说明了可以通过username和 password字段设置zookeeper 登录信息。

以下是registry参数说明:

1

但是,如果在Zookeeper上通过digest方式设置ACL,然后在dubbo registry上配置相应的用户、密码,服务就注册不到Zookeeper上了,会报KeeperErrorCode = NoAuth错误。

但是查阅ZookeeperRegistry相关源码并没有发现相关认证的地方,搜遍全网很少有问类似的问题,这个问题似乎并没有多少人关注。

Zookeeper中的ACL

概述

传统的文件系统中,ACL分为两个维度,一个是属组,一个是权限,子目录/文件默认继承父目录的ACL。而在Zookeeper中,node的ACL是没有继承关系的,是独立控制的。Zookeeper的ACL,可以从三个维度来理解:一是scheme; 二是user; 三是permission,通常表示为

scheme:id:permissions

下面从这三个方面分别来介绍:

scheme: scheme对应于采用哪种方案来进行权限管理,zookeeper实现了一个pluggable的ACL方案,可以通过扩展scheme,来扩展ACL的机制。zookeeper-3.4.4缺省支持下面几种scheme:

  • world: 它下面只有一个id, 叫anyone, world:anyone代表任何人,zookeeper中对所有人有权限的结点就是属于world:anyone的
  • auth: 它不需要id, 只要是通过authentication的user都有权限(zookeeper支持通过kerberos来进行authencation, 也支持username/password形式的authentication)
  • digest: 它对应的id为username:BASE64(SHA1(password)),它需要先通过username:password形式的authentication
  • ip: 它对应的id为客户机的IP地址,设置的时候可以设置一个ip段,比如ip:192.168.1.0/16, 表示匹配前16个bit的IP段
  • super: 在这种scheme情况下,对应的id拥有超级权限,可以做任何事情(cdrwa)

permission: zookeeper目前支持下面一些权限:

  • CREATE(c): 创建权限,可以在在当前node下创建child node
  • DELETE(d): 删除权限,可以删除当前的node
  • READ(r): 读权限,可以获取当前node的数据,可以list当前node所有的child nodes
  • WRITE(w): 写权限,可以向当前node写数据
  • ADMIN(a): 管理权限,可以设置当前node的permission

客户端管理

我们可以通过以下命令连接客户端进行操作:

./zkCli.sh 

帮助

[zk: localhost:2181(CONNECTED) 2] help
ZooKeeper -server host:port cmd args
        connect host:port
        get path [watch]
        ls path [watch]
        set path data [version]
        rmr path
        delquota [-n|-b] path
        quit 
        printwatches on|off
        create [-s] [-e] path data acl
        stat path [watch]
        close 
        ls2 path [watch]
        history 
        listquota path
        setAcl path acl
        getAcl path
        sync path
        redo cmdno
        addauth scheme auth
        delete path [version]
        setquota -n|-b val path

简单操作

[zk: localhost:2181(CONNECTED) 12] ls /
[dubbo, test, zookeeper]
[zk: localhost:2181(CONNECTED) 13] create /itstyle  data ip:192.168.1.190:cdrw
Created /itstyle
[zk: localhost:2181(CONNECTED) 14] getAcl /itstyle
'ip,'192.168.1.190
: cdrw

zkclient操作代码

import java.security.NoSuchAlgorithmException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.I0Itec.zkclient.ZkClient;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.data.ACL;
import org.apache.zookeeper.data.Id;
import org.apache.zookeeper.data.Stat;
import org.apache.zookeeper.server.auth.DigestAuthenticationProvider;

public class Acl {
    private static final String zkAddress = "192.168.1.190:2181";  
    private static final String testNode = "/dubbo";  
    private static final String readAuth = "read-user:123456";  
    private static final String writeAuth = "write-user:123456";  
    private static final String deleteAuth = "delete-user:123456";  
    private static final String allAuth = "super-user:123456";  
    private static final String adminAuth = "admin-user:123456";  
    private static final String digest = "digest";  
   
    private static void initNode() throws NoSuchAlgorithmException {  
        ZkClient zkClient = new ZkClient(zkAddress);  
        System.out.println(DigestAuthenticationProvider.generateDigest(allAuth));
        zkClient.addAuthInfo(digest, allAuth.getBytes());  
        if (zkClient.exists(testNode)) {  
            zkClient.delete(testNode);  
            System.out.println("节点删除成功!");  
        }  
   
        List<ACL> acls = new ArrayList<ACL>();  
        acls.add(new ACL(ZooDefs.Perms.ALL, new Id(digest, DigestAuthenticationProvider.generateDigest(allAuth))));
        acls.add(new ACL(ZooDefs.Perms.ALL, new Id(digest, DigestAuthenticationProvider.generateDigest(allAuth))));  
        acls.add(new ACL(ZooDefs.Perms.READ, new Id(digest, DigestAuthenticationProvider.generateDigest(readAuth))));  
        acls.add(new ACL(ZooDefs.Perms.WRITE, new Id(digest, DigestAuthenticationProvider.generateDigest(writeAuth))));  
        acls.add(new ACL(ZooDefs.Perms.DELETE, new Id(digest, DigestAuthenticationProvider.generateDigest(deleteAuth))));  
        acls.add(new ACL(ZooDefs.Perms.ADMIN, new Id(digest, DigestAuthenticationProvider.generateDigest(adminAuth))));  
        zkClient.createPersistent(testNode, testNode, acls);  
   
        System.out.println(zkClient.readData(testNode));  
        System.out.println("节点创建成功!");  
        zkClient.close();  
    }  
   
    private static void readTest() {  
        ZkClient zkClient = new ZkClient(zkAddress);  
        try {  
            System.out.println(zkClient.readData(testNode));//没有认证信息,读取会出错  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
   
        try {  
            zkClient.addAuthInfo(digest, adminAuth.getBytes());  
            System.out.println(zkClient.readData(testNode));//admin权限与read权限不匹配,读取也会出错  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
   
        try {  
            zkClient.addAuthInfo(digest, readAuth.getBytes());  
            System.out.println(zkClient.readData(testNode));//只有read权限的认证信息,才能正常读取  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
   
        zkClient.close();  
    }  
   
    private static void writeTest() {  
        ZkClient zkClient = new ZkClient(zkAddress);  
   
        try {  
            zkClient.writeData(testNode, "new-data");//没有认证信息,写入会失败  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
   
        try {  
            zkClient.addAuthInfo(digest, writeAuth.getBytes());  
            zkClient.writeData(testNode, "new-data");//加入认证信息后,写入正常  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
   
        try {  
            zkClient.addAuthInfo(digest, readAuth.getBytes());  
            System.out.println(zkClient.readData(testNode));//读取新值验证  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
   
        zkClient.close();  
    }  
   
    private static void deleteTest() {  
        ZkClient zkClient = new ZkClient(zkAddress);  
        zkClient.addAuthInfo(digest, deleteAuth.getBytes());  
        try {  
            System.out.println(zkClient.readData(testNode));  
            zkClient.delete(testNode);  
            System.out.println("节点删除成功!");  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
        zkClient.close();  
    }  
   
    private static void changeACLTest() {  
        ZkClient zkClient = new ZkClient(zkAddress);  
        //注:zkClient.setAcl方法查看源码可以发现,调用了readData、setAcl二个方法  
        //所以要修改节点的ACL属性,必须同时具备read、admin二种权限  
        zkClient.addAuthInfo(digest, adminAuth.getBytes());  
        zkClient.addAuthInfo(digest, readAuth.getBytes());  
        try {  
            List<ACL> acls = new ArrayList<ACL>();  
            acls.add(new ACL(ZooDefs.Perms.ALL, new Id(digest, DigestAuthenticationProvider.generateDigest(adminAuth))));  
            zkClient.setAcl(testNode, acls);  
            Map.Entry<List<ACL>, Stat> aclResult = zkClient.getAcl(testNode);  
            System.out.println(aclResult.getKey());  
        } catch (Exception e) {  
            System.err.println(e.getMessage());  
        }  
        zkClient.close();  
    }  
   
    public static void main(String[] args) throws Exception {  
   
        initNode();  
   
        System.out.println("---------------------");  
   
        readTest();  
   
        System.out.println("---------------------");  
   
        writeTest();  
   
        System.out.println("---------------------");  
   
        changeACLTest();  
   
        System.out.println("---------------------");  
   
        deleteTest();  
    }  
}

总结

大部分服务大都是部署在内网的,基本很少对外网开放,然而Dubbo的zookeeper用户权限认证貌似真的不起作用,如果非要对外开放只能通过iptables或者firewall进行IP Access Control,如果是阿里云服务器的话安全组也是个不错的选择。

作者: 小柒

出处: https://blog.52itstyle.com

分享是快乐的,也见证了个人成长历程,文章大多都是工作经验总结以及平时学习积累,基于自身认知不足之处在所难免,也请大家指正,共同进步。

目录
相关文章
|
2月前
|
消息中间件 分布式计算 资源调度
《聊聊分布式》ZooKeeper与ZAB协议:分布式协调的核心引擎
ZooKeeper是一个开源的分布式协调服务,基于ZAB协议实现数据一致性,提供分布式锁、配置管理、领导者选举等核心功能,具有高可用、强一致和简单易用的特点,广泛应用于Kafka、Hadoop等大型分布式系统中。
|
9月前
|
消息中间件 人工智能 监控
文生图架构设计原来如此简单之分布式服务
想象一下,当成千上万的用户同时要求AI画图,如何公平高效地处理这些请求?文生图/图生图大模型的架构设计看似复杂,实则遵循简单而有效的原则:合理排队、分工明确、防患未然。
357 14
文生图架构设计原来如此简单之分布式服务
|
12月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
11月前
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
|
11月前
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
285 1
|
11月前
|
分布式计算 数据处理 MaxCompute
云产品评测|分布式Python计算服务MaxFrame
云产品评测|分布式Python计算服务MaxFrame
226 2
|
11月前
|
人工智能 分布式计算 数据处理
有奖评测,基于分布式 Python 计算服务 MaxFrame 进行数据处理
阿里云MaxCompute MaxFrame推出分布式Python计算服务MaxFrame评测活动,助力开发者高效完成大规模数据处理、可视化探索及ML/AI开发。活动时间为2024年12月17日至2025年1月31日,参与者需体验MaxFrame并发布评测文章,有机会赢取精美礼品。
|
12月前
|
消息中间件 存储 安全
分布式系统架构3:服务容错
分布式系统因其复杂性,故障几乎是必然的。那么如何让系统在不可避免的故障中依然保持稳定?本文详细介绍了分布式架构中7种核心的服务容错策略,包括故障转移、快速失败、安全失败等,以及它们在实际业务场景中的应用。无论是支付场景的快速失败,还是日志采集的安全失败,每种策略都有自己的适用领域和优缺点。此外,文章还为技术面试提供了解题思路,助你在关键时刻脱颖而出。掌握这些策略,不仅能提升系统健壮性,还能让你的技术栈更上一层楼!快来深入学习,走向架构师之路吧!
312 12
|
12月前
|
人工智能 分布式计算 数据处理
云产品评测:MaxFrame — 分布式Python计算服务的最佳实践与体验
阿里云推出的MaxFrame是一款高性能分布式计算平台,专为大规模数据处理和AI应用设计。它提供了强大的Python编程接口,支持分布式Pandas操作,显著提升数据处理速度(3-5倍)。MaxFrame在大语言模型数据处理中表现出色,具备高效内存管理和任务调度能力。然而,在开通流程、API文档及功能集成度方面仍有改进空间。总体而言,MaxFrame在易用性和计算效率上具有明显优势,但在开放性和社区支持方面有待加强。
196 9
|
存储 运维 NoSQL
分布式读写锁的奥义:上古世代 ZooKeeper 的进击
本文作者将介绍女娲对社区 ZooKeeper 在分布式读写锁实践细节上的思考,希望帮助大家理解分布式读写锁背后的原理。
328 11

热门文章

最新文章