云Kafka搭配云HBase X-Pack构建一体化数据处理平台-阿里云开发者社区

开发者社区> 云原生多模数据库Lindorm> 正文

云Kafka搭配云HBase X-Pack构建一体化数据处理平台

简介: 云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台,支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景,助力企业数据智能化。

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台,支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景,助力企业数据智能化。
下面是业界广泛应用的大数据中台架构,其中HBase&Spark选择 云HBase X-Pack产品相关用户文档,购买页面:
1559800940312_0d790f45_4b3a_4143_b815_100ed7c27a49

  • 消息流入:Flume、Logstash、或者在线库的binlog流入消息中间件Kafka
  • 实时计算:通过X-Pack Spark Streaming实时的消费Kafka的消息,写入到云HBase中对外提供在线查询
  • 实时存储与检索:云HBase融合solr以及phoenix sql层能够提供海量的实时存储,以及在线查询检索
  • 批处理、数仓及算法:在线存储HBase的数据可以自动归档到X-Pack Spark数仓。全量数据沉淀到Spark数仓(HiveMeta),做批处理、算法分析等复杂计算,结果回流到在线库对外提供查询。

该套方案的实践操作可以参考文章,同时有云HBase&Spark的样例代码库可参考

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云原生多模数据库Lindorm
使用钉钉扫一扫加入圈子
+ 订阅

Lindorm是适用于任何规模、多种类型的云原生数据库服务,支持海量数据的低成本存储处理和弹性按需付费,兼容HBase、Solr、SQL、OpenTSDB等多种开源标准接口,是互联网、IoT、车联网、广告、社交、监控、游戏、风控等场景首选数据库,也是为阿里巴巴核心业务提供支撑的数据库之一。

官方博客
链接