在2018云栖大会上,数据产品专家潘炎讲述了关于大数据可视化面临的挑战,并对Quick BI的核心能力进行了详细的刨析,最后对Qucik BI的未来发展做出了一定的规划。
数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧
以下是精彩视频内容整理:
大数据可视化面临的挑战及期望
阿里巴巴作为一家可视化数据的大公司,整个集团都在进行数字化的运营。在探索大数据分析的道路上,面临的挑战与期望有很多。在2013-2014年,阿里巴巴在可视化的业务上有很快的发展,在这个发展的过程中,一方面,数据支撑团队为了能更好的支撑业务做了许多划分,即把组织按照BU或者某个淘宝的分类做细粒度的支撑。另一方面,为了更好的支撑整个大数据分析,也对组织进行了一些列的调整,组织中包含:数据产品经理,开发者和数据ETL工程师。当一个业务人员提出个一个业务分析的要求时,数据产品经理会受理产品需求,从业务口径和技术口径进行系统的梳理,再由开发人员完成。但如上的模式的开发则需要3到4天,甚至7到8天才能完成,尽管对需求做了一些常态化的梳理。为了加快效率,缩短时间,单纯的扩张数据分析人员和增加数据支撑人员并不能满足业务快速膨胀的需求。随着业务部门对于数据支撑力度的需求增加,数据支持对于大数据可视化所面临的问题进行了分析与汇总,主要包四个核心问题:临时需求多,需求响应时间长,本地化现象严重,专业人才紧缺。
Quick BI 产品的核心能力
高性能即席查询
为了满足日常需求和不同数据的计算存储的要求,我们进行了一些关系型数据库的适配,包括oracle、mysql、sql server等关系型数据库,从而可以进行更好的链接。其次,包含一些hadoop、mpp等分布式数据库。最后也包含对云数据库做了一些maxconpute的加速引擎以及sql的只能优化。
拖拽自助分析
Quick BI的拖拽自助分析功能很好的降低了对专业人才的依赖。它提供了操作为交互式的,通过对多种图表组件的拖拉拽,一次配置自动适配PC、移动、大屏,全面提升数据分析响应效率。其次它能够做到数据分析联动,包括多组件查询联动、跨数据集关联、组件联动和下钻联动等能力,支撑各种在线数据分析场景。
在线电子表格
对于一些习惯使用excel等二维表格工具的人员,Quick BI也提供了在线电子表格,延续了excel等工具的所有操作特性。它不仅支持拖拽式填充,过滤、行/列冻结和大小改变等,全面延续本地化操作降低学习成本。而且它还支持三百多种函数,提供统计、查找、文本、日期等10个大类的函数,更好支撑本地化操作延续,提升响应效率。
便捷地数据门户制作,提供一站式分析服务
Quick BI提供主题式导航,可以自定义导航空间,业务人员可按照分析维度快速制定分析导航。其次,操作简单配置便捷可以方便用户使用,仪表板、电子表格、第三方链接等可快速配置,支撑各种门户导航配置诉求。
在线协同机制,重塑数据分析服务
Quick BI提供公开的功能,可以在员工制作数据等工作完成后,按照一定的周期同步给领导,从而方便审查以及定期跟踪,数据会不停的刷新。在整个数据分析过程中,由于人事变动或者工作人员休息,则需要其他人员做协同工作,对此Quick BI提供了协同工作的功能,可以方便工作的顺利进行。并且Quick BI提供了分享的功能,可以通过它将作品分享给同事或领导,从而实现一个实时的共享于分析。
安全可靠的管理机制
除了用户登陆权限以外,Quick BI也提供了基于工作空间的隔离,来实现整个安全的防控,在工作空间里面,所有的数据源的操作,数据集的操作,电子表格,仪表板都是相对独立的。在这个过程中均贴合于整个公司和组织的结构。在整个工作空间中,不同的角色所承担的工作职责有这差异性。空间管理者和开发者能够很好的处理数据管理和链接以及数据集的标准化,分析师可以自助完成日常分析以此来服务于更多的阅览者。在实际使用过程中,数据存在使用权限的问题,对此Quick BI做到了行级用户权限。
重塑数据分析链路,助力业务数据化
Quick BI主要功能就是用于重塑了数据分析的生产链路,把长流程的模式,从业务的口径分析,ETL的过程汇总计算,到可视化这样的过程分解成了不同的分支。数据支撑人员仍然做ETL和后台开发,但是可以把数据分析可视化的要求赋予生产一线,让生产一线的人员自助按照需求进行场景化,去构建分析能力。
持续创新,打造大数据分析新生态
Quick BI对于未来的发展与思考,包括对可视化能力的提升,未来期望能够完善更多的图表组件,类似LBS的图表组建和模板化的图表组件等。其次,做到更高的查询性能。由于以往的查询模式均为ETL数仓的模式,基于数仓进行上层的可视化分析,未来希望能够实现在Quick BI中加入简单的ETL从而实现跨库跨异构数据的在线分析能力,从而降低对数据ETL的要求,提升数据链的处理方式。最后期望实现更智能的数据洞察,目前数据分析均有人来完成,未来Quick BI期望做到通过机器分析数据的异常并链接到相关人员等一系列智能化操作。
本文由云栖志愿小组谭昊整理编辑