开发大数据的正确姿势--交互式分析-阿里云开发者社区

开发者社区> May-Hologres> 正文

开发大数据的正确姿势--交互式分析

简介: 在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文为您深度揭秘交互式分析的核心技术以及应用场景,用交互式分析打开开发大数据的正确姿势!
+关注继续查看

在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文整理自2019年云栖大会大数据技术专场交互式分析团队的精彩演讲,为您深度揭秘交互式分析的核心技术以及应用场景,打开开发大数据的正确姿势!

本文内容整理自云栖大会演讲视频以及PPT。

更多详情请点击:云栖大会交互式分析现场分享

交互式分析是阿里云的一款实时数仓产品,实时数仓最常用的两种查询为简单查询和复杂查询,简单查询例如典型的双11媒体大屏,复杂查询例如AB实时test。针对两种实时数仓的查询场景,典型的业务架构为:用户产生的数据进入消息队列(例如阿里云的DataHub),然后经过实时处理(例如Flink)初步聚合,存储到存储服务里,之后进行数据服务,但由此会产生两个核心的问题:
1.数据选用什么存储服务?
2.如何对外提供高可靠、低延时的数据服务?

针对数据存储,目前市面上常用的产品可能是:
1.基于行存适用于高并发简单查询的Hbase、Cassandra;
2.基于列存适用于复杂大扫描查询的Druid、Kudu。
而开发人员往往会根据业务特性来选择适合自己的存储,当业务足够复杂的时候,可能一个业务需要多套存储系统,为开发、运维带来难度。除此之外,根据业务不同的需求,在数据查询方面也会有不同的需求,比如有时需要简单查询,有时需要复杂关联查询,这时又需要使用不同的计算引擎来提供数据服务,这无疑又给开发、运维带来一定难度。

交互式分析的诞生就是为了解决以上问题,为用户提供一站式高并发、低延时的存储和计算一体化的数据服务,并与大数据生态无缝打通,让你使用现有BI工具就能实现PB级数据的秒级查询分析。

交互式分析--秒级实时数仓

  • 大规模计算型存储
    采用存储、计算分离的架构,支持简单查询与复杂SQL查询。
  • 高性能查询服务
    使用交互式分析实现PB级数据秒级查询响应。
  • 兼容PostgreSQL生态
    意味着只要会使用PostgreSQL就能使用交互式分析,大大降低学习成本。同时,也意味着所有对接PostgreSQL的工具也能对接交互式分析,例如PostgreSQL自有的客户端(psql)、BI分析工具(Tableau、Quick BI)等。

典型应用场景

交互式分析经过在集团内的多年沉淀,已形成自有的典型应用场景,并且广泛用于互联网、新零售、IOT、金融等各个业务。
image

系统架构

  • 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层无缝打通,可直接对MaxCompute数据加速查询。
  • 兼容PostgreSQL,提供JDBC、ODBC接口可直接对接各种开发工具、BI分析工具。
    image

关于交互式分析的更多详细信息,可前往交互式分析官网查看。
同时也欢迎大家进入交互式分析的钉钉交流群,技术专家实时在线为您解决问题。
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.5并行处理通信交流(一)
《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.5并行处理通信交流
30 0
如何用大数据开发套件周期调度机器学习算法
讨论如何用大数据的开发套件的调度功能和机器学习产品,进行自动化调度的机器学习计算。
4817 0
老司机告诉你大数据开发:学Hadoop好还是Spark好?
相信看这篇文章的你们,都和我一样对Hadoop和Apache Spark的选择有一定的疑惑,今天查了不少资料,我们就来谈谈这两种 平台的比较与选择吧,看看对于工作和发展,到底哪个更好。 一、Hadoop与Spark 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。
1673 0
《Spark与Hadoop大数据分析》——1.1 大数据分析以及 Hadoop 和 Spark 在其中承担的角色
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章,第1.1节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1207 0
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码(四)
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码
14 0
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码(一)
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码(一)
16 0
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码(六)
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.2系统数字返回码
17 0
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.3系统字母数字返回码(二)
带你读《SAS数据分析开发之道 软件质量的维度》第三章通信交流3.3系统字母数字返回码
15 0
+关注
93
文章
3
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载