摘要:阿里云的庞都从数据分析着手,介绍了目前在数据分析领域的现状与困难,通过对比系统的阐述了基于阿里云的Quick BI在成本,安全、稳定以及速度上的优势;Quick BI让每个使用者成为了数据分析师,让企业实现数据化运营。
直播视频:https://yq.aliyun.com/video/play/1294
以下是精彩内容整理:
为什么要进行Quick BI开发研究?
今天的阿里巴巴的业务复杂,交错网状性强。对于每一项工作、任务都需要大量的数据、报表等进行相应的支持,而对海量数据的分析,离不开脚本的编写;此外,在获得获取海量数据后如何甄别数据是工作的重点也是难点。为了保证数据的精确性、专一性以及准确性,从数据提出着手,通过数据接口对于相关数据进行快速相应分析并与相关部门进行确认,最终确定专人执行,做到数据的精确化。
数据分析现状与困难
通过上述讲述,可以看出,在阿里的日常工作中会面对大量的数据分析,那么今天的数据分析的现状与困难又有哪些呢?
1.临时需求多,时间紧
在阿里巴巴每天的要处理超过10个云的数据,往往每个事件具有十万级甚至百万级别的数据量,此外常常也会面临某些突发事件的处理。
2.数据相应流程长、口径不统一
在前面提到,为保证最终数据的可靠性与精确性,往往需要与提供数据或者需要最终数据的各部门进行沟通。如果仅仅进行单一的数据分析,会面临口径不统一的现象,使最终数据不可用。上述过程往往有耗费大量人力物力和时间,工作效率也相应的降低。
通常来说,在各方确认了数据后,留给数据分析人员的工作时间已经不多,数据分析部门面临多时间、高工作量的工作情形。
3.数据”本地化“现象严重
经过漫长的确认阶段后,需要将数据导出,套入到EXCEL进行数据的透视、关联、加工的处理,最终形成一个完整的报告模式并静邮件进行发放。但是该过程也存在着诸多难点,首先是过多的依赖EXCEL,失误率较高;其次,数据处理过程中人员的流动带来了不便;还有就是很多的分析化工作重复化严重,如日报、周报、月报、专报等。
4.专业人才紧缺
由于数据处理的繁杂性,需要大量的人员参与其中。每一个环节都要有相应的专业人员进行系统的工作协调。诸如:需要研发工程师来实现数据结构设计、保证数据存储质量;需要数据工程师进行数据的同步、梳理、清洗以及模型的设计;需要分析师从事数据获取及数据分析报告的制作;需要数据产品经理来进行整体业务需求的梳理,在了解业务数据后对其进行相应转化。
可以看出从业务需求、业务产品、业务数据库设计、数据管理、数据提供分析全体系统化的过程都需要大量的技术人才参与,而现在相关人才的缺失也是数据分析不得不面对的一个难题。
Quick BI定位与使命
Quick BI可以提供海量数据的即席分析,可实现拖拽式操作并且丰富了可视化效果,能够更加有效的帮助使用者轻松自如的完成数据的分析、业务数据的洞察。Quick BI目前都是网页化,使用的入门要求低,可以说是一种人人都能用并且行之有效的工具,实现了人人都是数据分析师的目标。
那么Quick BI具有哪些模块并且相应的功能有哪些?
1. Quick BI的核心能力
Quick BI的在数据分析中主要具有以下5个方面的突出能力:
1)丰富的数据源投入。Quick BI支持多样的数据源,可以适应阿里云上的绝大多数数据;
2)专业的分析报告制作。形成一个中国式的电子表格,具有操作便利、函数丰富、数据获取便利等优点;
3)高性能的即席查询。具有OLAP加速引擎,可以在此基础下实现15s内完成100G离线数据的计算,同时也支持自主式多维查询等功能;
4)丰富数据可视化。由于Quick BI的网站式定位,因此提供了一整个交互式的网站体验;
5)安全多端访问支持。形成一个RBAC三位一体的权限模型,即:连接数据库权限、编辑权限和行级权限。
2. Quick BI工作台设计
工作台设计初衷首先是能够使工作者找到快速路口来进入空间进行工作;其次,作为数据访问者,能够快速分享、收藏相关报表内容。
因此在Quick BI工作台设计上目前主要包括5个部分:
1)数据获取。在数据源上全面支持阿里云数据库,支持MaxCompute,同时也支持自主构建的Mysql,Oracle,本地Excel及Hadoop分布式数据;
2)创建数据集。基于数据源的联接支持表建模、SQL(部分数据源),使业务分析不需求独立计算任务产出,提高需求响应效率;
3)仪表板。仪表盘的建立可以使选择数据集的过程直接过滤,不需进行额外选择;
4)电子表格。表格增加了数据设置器便于相关数据选择,提高了工作效率;
5)数据门户。从业务角度、部分角度、场景角度等多视角组织业务数据门户,让每一个业务数据都能被统一看到,节省数据查找的时间。
3.Quick BI电子表格
Quick BI中的电子表格支持sheet操作并提供类似与Excel的操作体验,便于相关人员的使用;此外内置300+的函数,可以帮助用户在数据库、手动录入等方面实现多层透视分析(如定向排序,自定义分段分析等);最后还支持控件每天自动、手工更新报表数据,减少重复数据的制作,有效提高数据相应效率。
4. Quick BI仪表盘
仪表盘中包括功能性组件和可视化组件,并且支持度量和维度的设置,支持行级权限控件,可以使不同的使用者看到不同的数据,支持特定组件的联动分析,支持邮件定时推送等。
在云计算的优势下,Quick BI具有成本低,安全、高效、稳定的优点;此外由于内置了智能加速引擎,实现了处理海量数据时的快速性,无需进行大量数据的预处理,大大节省了时间;最后Quick BI通过提供智能化的数据建模工具,极大的降低了数据获取的成本和使用门槛,不仅成为了业务人员“看”数据的工具,更让每个使用者成为了数据分析师,让企业实现数据化运营。
本文由云栖志愿小组林一木整理,百见编辑。