在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文整理自2019年云栖大会大数据技术专场交互式分析团队的精彩演讲,为您深度揭秘交互式分析的核心技术以及应用场景,打开开发大数据的正确姿势!
本文内容整理自云栖大会演讲视频以及PPT。
更多详情请点击:云栖大会交互式分析现场分享
交互式分析是阿里云的一款实时数仓产品,实时数仓最常用的两种查询为简单查询和复杂查询,简单查询例如典型的双11媒体大屏,复杂查询例如AB实时test。针对两种实时数仓的查询场景,典型的业务架构为:用户产生的数据进入消息队列(例如阿里云的DataHub),然后经过实时处理(例如Flink)初步聚合,存储到存储服务里,之后进行数据服务,但由此会产生两个核心的问题:
1.数据选用什么存储服务?
2.如何对外提供高可靠、低延时的数据服务?
针对数据存储,目前市面上常用的产品可能是:
1.基于行存适用于高并发简单查询的Hbase、Cassandra;
2.基于列存适用于复杂大扫描查询的Druid、Kudu。
而开发人员往往会根据业务特性来选择适合自己的存储,当业务足够复杂的时候,可能一个业务需要多套存储系统,为开发、运维带来难度。除此之外,根据业务不同的需求,在数据查询方面也会有不同的需求,比如有时需要简单查询,有时需要复杂关联查询,这时又需要使用不同的计算引擎来提供数据服务,这无疑又给开发、运维带来一定难度。
交互式分析的诞生就是为了解决以上问题,为用户提供一站式高并发、低延时的存储和计算一体化的数据服务,并与大数据生态无缝打通,让你使用现有BI工具就能实现PB级数据的秒级查询分析。
交互式分析--秒级实时数仓
- 大规模计算型存储
采用存储、计算分离的架构,支持简单查询与复杂SQL查询。 - 高性能查询服务
使用交互式分析实现PB级数据秒级查询响应。 - 兼容PostgreSQL生态
意味着只要会使用PostgreSQL就能使用交互式分析,大大降低学习成本。同时,也意味着所有对接PostgreSQL的工具也能对接交互式分析,例如PostgreSQL自有的客户端(psql)、BI分析工具(Tableau、Quick BI)等。
典型应用场景
交互式分析经过在集团内的多年沉淀,已形成自有的典型应用场景,并且广泛用于互联网、新零售、IOT、金融等各个业务。
系统架构
- 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层无缝打通,可直接对MaxCompute数据加速查询。
- 兼容PostgreSQL,提供JDBC、ODBC接口可直接对接各种开发工具、BI分析工具。
关于交互式分析的更多详细信息,可前往交互式分析官网查看。
同时也欢迎大家进入交互式分析的钉钉交流群,技术专家实时在线为您解决问题。