zookeeper知识点复习
Zookeeper(业界简称zk)是一种提供配置管理、分布式协同以及命名的中心化服务,这些提供的
功能都是分布式系统中非常底层且必不可少的基本功能,但是如果自己实现这些功能而且要达到高吞吐、低延迟同时还要保持一致性和可用性,实际上非常困难。因此zookeeper提供了这些功能,开发者在zookeeper之上构建自己的各种分布式系统。
相关概念
Zookeeper提供一个多层级的节点命名空间(节点称为znode),每个节点都用一个以斜杠(/)分隔的路径表示,而且每个节点都有父节点(根节点除外),非常类似于文件系统。并且每个节点都是唯一的。
znode节点有四种类型:
- PERSISTENT:永久节点。客户端与zookeeper断开连接后,该节点依旧存在
- EPHEMERAL:临时节点。客户端与zookeeper断开连接后,该节点被删除
- PERSISTENT_SEQUENTIAL:永久节点、序列化。客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号
- EPHEMERAL_SEQUENTIAL:临时节点、序列化。客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号
创建这四种节点:
事件监听:在读取数据时,我们可以同时对节点设置事件监听,当节点数据或结构变化时,zookeeper会通知客户端。当前zookeeper有如下四种事件:
1. 节点创建
2. 节点删除
3. 节点数据修改
4. 子节点变更
java客户端操作
1. 引入依赖
1. <dependency> 2. <groupId>org.apache.zookeeper</groupId> 3. <artifactId>zookeeper</artifactId> 4. <version>3.4.14</version> 5. </dependency>
2. 常用api及其方法
初始化zookeeper客户端类,负责建立与zkServer的会话
1. new ZooKeeper(connectString, 30000, new Watcher() { 2. @Override 3. public void process(WatchedEvent event) { 4. System.out.println("获取链接成功!!"); 5. } 6. });
创建一个节点,1-节点路径 2-节点内容 3-访问控制控制 4-节点类型
1. 2. String fullPath = zooKeeper.create(path, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, 3. CreateMode.PERSISTENT);
判断一个节点是否存在
1. Stat stat = zooKeeper.exists(rootPath, false); 2. if (stat != null) {...}
查询一个节点的内容
1. Stat stat = new Stat(); 2. byte[] data = zooKeeper.getData(path, false, stat);
更新一个节点
zooKeeper.setData(rootPath, new byte[]{}, stat.getVersion() + 1);
删除一个节点
zooKeeper.delete(path, stat.getVersion());
查询一个节点的子节点列表
List<String> children = zooKeeper.getChildren(rootPath, false);
关闭链接
1. if (zooKeeper != null) { 2. zooKeeper.close(); 3. }
实现思路分析
分布式锁的步骤:
1. 获取锁:create一个节点
2. 删除锁:delete一个节点
3. 重试:没有获取到锁的请求重试
参照redis分布式锁的特点:
1. 互斥 排他
2. 防死锁:
1. 可自动释放锁(临时节点) :获得锁之后客户端所在机器宕机了,客户端没有主动删除子节点;如果创建的是永久的节点,那么这个锁永远不会释放,导致死锁;由于创建的是临时节点,客户端宕机后,过了一定时间zookeeper没有收到客户端的心跳包判断会话失效,将临时节点删除从而释放锁。
2. 可重入锁:借助于ThreadLocal
3. 防误删:宕机自动释放临时节点,不需要设置过期时间,也就不存在误删问题。
4. 加锁/解锁要具备原子性
5. 单点问题:使用Zookeeper可以有效的解决单点问题,ZK一般是集群部署的。
6. 集群问题:zookeeper集群是强一致性的,只要集群中有半数以上的机器存活,就可以对外提供服务。
基本实现
实现思路:
1. 多个请求同时添加一个相同的临时节点,只有一个可以添加成功。添加成功的获取到锁
2. 执行业务逻辑
3. 完成业务流程后,删除节点释放锁。
初始化链接
由于zookeeper获取链接是一个耗时过程,这里可以在项目启动时,初始化链接,并且只初始化一次。借助于spring特性,代码实现如下:
1. @Component 2. public class zkClient { 3. private static final String connectString = "192.168.107.135"; 4. 5. private static final String ROOT_PATH = "/distributed"; 6. 7. private ZooKeeper zooKeeper; 8. 9. @PostConstruct 10. public void init() throws IOException { 11. this.zooKeeper = new ZooKeeper(connectString, 30000, new Watcher() { 12. @Override 13. public void process(WatchedEvent watchedEvent) { 14. System.out.println("zookeeper 获取链接成功"); 15. } 16. }); 17. //创建分布式锁根节点 18. try { 19. if (this.zooKeeper.exists(ROOT_PATH, false) == null) { 20. this.zooKeeper.create(ROOT_PATH, null, 21. ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); 22. } 23. } catch (KeeperException e) { 24. e.printStackTrace(); 25. } catch (InterruptedException e) { 26. e.printStackTrace(); 27. } 28. } 29. 30. @PreDestroy 31. public void destroy() { 32. if (zooKeeper != null) { 33. try { 34. zooKeeper.close(); 35. } catch (InterruptedException e) { 36. e.printStackTrace(); 37. } 38. } 39. } 40. /** 41. * 初始化分布式对象方法 42. */ 43. public ZkDistributedLock getZkDistributedLock(String lockname){ 44. return new ZkDistributedLock(zooKeeper,lockname); 45. } 46. }
代码落地
1. public class ZkDistributedLock { 2. public static final String ROOT_PATH = "/distribute"; 3. private String path; 4. private ZooKeeper zooKeeper; 5. 6. 7. public ZkDistributedLock(ZooKeeper zooKeeper, String lockname) { 8. this.zooKeeper = zooKeeper; 9. this.path = ROOT_PATH + "/" + lockname; 10. } 11. 12. public void lock() { 13. try { 14. zooKeeper.create(path, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL); 15. } catch (KeeperException e) { 16. e.printStackTrace(); 17. } catch (InterruptedException e) { 18. e.printStackTrace(); 19. } 20. try { 21. Thread.sleep(200); 22. lock(); 23. } catch (InterruptedException e) { 24. e.printStackTrace(); 25. } 26. 27. } 28. 29. public void unlock(){ 30. try { 31. this.zooKeeper.delete(path,0); 32. } catch (InterruptedException e) { 33. e.printStackTrace(); 34. } catch (KeeperException e) { 35. e.printStackTrace(); 36. } 37. 38. } 39. }
改造StockService的checkAndLock方法:
1. @Autowired 2. private zkClient client; 3. 4. public void checkAndLock() { 5. // 加锁,获取锁失败重试 6. ZkDistributedLock lock = this.client.getZkDistributedLock("lock"); 7. lock.lock(); 8. // 先查询库存是否充足 9. Stock stock = this.stockMapper.selectById(1L); 10. // 再减库存 11. if (stock != null && stock.getCount() > 0) { 12. stock.setCount(stock.getCount() - 1); 13. this.stockMapper.updateById(stock); 14. } 15. lock.unlock(); 16. }
Jmeter压力测试:
性能一般,mysql数据库的库存余量为0(注意:所有测试之前都要先修改库存量为5000)
基本实现存在的问题:
1. 性能一般(比mysql略好)
2. 不可重入
接下来首先来提高性能