HBase毛刺消除利器-双集群并发访问(Dual Service)-阿里云开发者社区

开发者社区> 云原生多模数据库Lindorm> 正文

HBase毛刺消除利器-双集群并发访问(Dual Service)

简介: 阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐,持续的在高可用、低延迟、低成本方向上进行优化。为了进一步满足客户在可用性以及低延迟上的诉求,新增追求极致稳定性的双集群并发访问(Dual Service)功能.。

HBase用户福利

新用户9.9元即可使用6个月云数据库HBase,更有低至1元包年的入门规格供广大HBase爱好者学习研究,更多内容请参考链接

前言

在大数据背景下每时每刻都会有大量的用户行为数据被收集、分析、以及应用, 典型的应用场景包括用户推荐、安全风控;这些场景的共同特点是数据量大、可用性要求高、同时对随机读请求的响应时间非常敏感;云HBase作为海量大数据存储天然适合数据量TB、PB级别的业务场景,同时提供高可用方案(详见)满足用户的高可用需求,再此基础上为了满足用户大数据量随机读低毛刺的要求新增追求极致稳定性的双集群并发访问(Dual Service)功能.

适用场景

实时广告竞价

实时广告竞价场景中竞价方会监听广告交易平台发出的竞价请求,然后将请求转交给竞价引擎进行处理,竞价引擎查询数据库中的用户信息数据,利用算法引擎将用户数据和投放需求进行匹配,最终决定是否参与出价以及具体出价多少;竞价过程中需要在大量用户数据中查询,同时对查询耗时稳定性要求极高,超时意味着放弃竞价就少了一次交易机会造成损失;
1.jpg

实时风控

实时安全风控场景也对查询稳定性有着同样的高要求,在用户发起交易之后风控系统需要判断这一次的交易行为是不是安全的,为了判断的更加准确通常需要查询多维度的信息,查询耗时的多少严重影响用户体验,查询超时要么安全降级有可能造成资损,要么就会造成支付失败影响用户体验遭到投诉,所以查询必须稳定;
21.jpg

实时个性化推荐

实时推荐是另外一种对数据查询强依赖业务场景,需要对用户的喜好进行判断从而进行准确的推荐,判断就离不开对海量数据的查询,同时也是一个一定不能慢的场景,慢往往意味着降级无法个性化推荐、无法进一步提升转化率;
3.jpg
面对上面的业务场景双集群并发访问能做什么:

  • 同城跨可用区主备冗灾架构,最大程度保证集群可用性;
  • 双集群并发访问,结合SSD存储可以达到数据随机读P999 30ms;
  • 支持混合云部署场景,自建+云实例混合模式自由部署灵活多变;

双集群并发访问(Dual Service)

原理介绍

在HBase存储场景下因为GC、IO抖动等原因,单独一个实例是很难保证99.9%查询稳定性的,如果一个节点的稳定性是99%, 那么两个独立节点的组合的稳定性是 1 - 1% * 1% = 99.9%。采用双节点服务同一份数据可以在最终一致性条件下提升一个数量级的稳定性。当用户请求发起时DualService会首先向主库发起请求,在等待一段时间(Glitch Time,最小化客户端资源开销)后如果主库仍没有返回结果,则并发向备库发起请求,DualService取最快返回的值作为结果,充分保证用户查询稳定性;
4.jpg

毛刺对比

  • 测试环境:2台8C16G节点SSD云盘云HBase实例
  • 测试工具:ycsb
  • 测试场景:1TB数据随机读场景
    5.jpg

进阶功能

跨可用区同城主备保证云HBase集群全年99.99%的可用性,双集群并发访问(Dual Service)保障海量数据读查询99.9% 50ms以内的极致稳定性,有了"双保险"但是我们还会遇到其他问题的挑战:单集群完全故障(断网、断电场景)使用Dual Service服务可以请求成功,但是因为glitch timeout的存在平均响应时间会增加;为了解决这一问题,在Dual Service基础上我们还增加故障识别能力,故障场景自动感知秒级自动切换,将故障的影响降到最低,对上层业务无感知;
6.jpg

使用文档

相关链接

HBase技术交流

欢迎加群进一步交流沟通:
image.png
image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云原生多模数据库Lindorm
使用钉钉扫一扫加入圈子
+ 订阅

Lindorm是适用于任何规模、多种类型的云原生数据库服务,支持海量数据的低成本存储处理和弹性按需付费,兼容HBase、Solr、SQL、OpenTSDB等多种开源标准接口,是互联网、IoT、车联网、广告、社交、监控、游戏、风控等场景首选数据库,也是为阿里巴巴核心业务提供支撑的数据库之一。

官方博客
链接