本篇为《浅谈BI系统设计》系列第一篇原创文章。文章从三个问题入手,什么是BI系统?为什么要建设BI系统?BI系统有哪些功能?通过对BI价值以及核心功能介绍,希望让读者对BI系统有初步了解
1.BI介绍
在20世纪80年代,沃尔玛就开始建立数据仓库系统。为了能够准确了解顾客在其门店的购买习惯,于是对顾客的购物行为进行分析,想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上,沃尔玛利用数据挖掘方法对这些数据进行分析用来提高销售额。那个著名的“啤酒与尿布”故事中,将啤酒与尿布绑定销售的逻辑即来源于此。
在2020年,“数据”被纳为生产要素,与劳动、资本、土地、知识、技术、管理等生产要素放在一起。随着数字化经济发展到一定阶段后,数据的价值逐渐凸显出来。它犹如一座有待挖掘的矿山,需要不断地开采、合理利用,继而发挥其最大价值给组织业务带来增长。
图1 数据成为数字时代的生产要素
我们通常会采取大数据相关技术,如数据仓库、数据挖掘、数据可视化等技术进行数据分析,通过分析结果来辅助业务决策。这就是商业智能(BI),它是挖掘数据价值的一种手段,表现形态可以是一套大数据技术组合的解决方案,也可能是一款数据分析工具。
本篇文章所写的BI系统是指独立的一款可视化数据分析工具,它与传统BI不同的是,更注重于业务人员的自助式、探索式敏捷分析。
图2 传统BI与敏捷BI业务流程对比
2.BI价值
BI的核心价值在于满足企业不同人群对数据查询、分析和探索的需求,从而为管理和业务提供数据依据和决策支撑。这个说法较为宏观,下面从组织、业务、人员等角度分析其价值。
驱动组织数字化转型:企业数字化转型的本质是经验驱动决策向数据驱动决策的转变,如何最大化利用数据价值成为关键。需要不断挖掘数据,提炼出有效信息,并且将有效信息转化为可参考、可执行的知识,最终通过数据支撑管理决策。这个过程涉及到数据在BI系统内的流转,如将数据接入系统,对数据进行业务主题分析,最终将结果可视化展示作为决策依据。
图3 将数据变得有价值
推动业务精细化运营:BI 作为数据驱动决策的第⼀步,其主要推动企业在从“粗放式”向“精细化”管理过渡中,从⽽提⾼运营效率、增加客户收⼊,更有效地提⾼企业竞争⼒。
知识共享沉淀:通过BI将组织内成员的数据分析方法、经验落地成为报告等内容,通过知识共享沉淀来提高组织整体的数据素养。
同时BI为组织内部不同角色成员所提供的核心价值不同,下面通过高管、业务执行人员、IT人员三种角色来说。
对管理人员:BI主要是为其提供管理依据,通过数据来辅助决策。让管理者通过数据反馈的结果,掌握组织的实时运转状况。
对于业务执行人员:提高业务效率,促进业务流程优化。业务人员面对的数据需求往往是非常复杂的,如何高效地提炼出数据分析结果成为关键,自助式BI分析让执行人员更专注于业务主题分析。
对于IT人员:打通数据孤岛,释放IT资源。各部门间都要IT进行数据开发,导致开发资源紧张。通过BI将个业务系统数据打通,节约开发资源,缩短建设周期。
3.核心能力
市场上BI系统面对的业务形态各有不同,所以它们的核心能力不尽相同。
有些是非常垂直行业的数据分析平台,如C端产品同学可能比较熟悉的神策、GrowingIO等,主要通过埋点来监测、收集互联网上的用户行为数据进行分析。
图4 神策
而另一类相对来说比较通用的BI,也是本篇文章要讲的。它是全行业通用数据分析工具,如Tableau、FineBI等。它们可以单独作为数据分析工具使用,具有数据采集、数据还整合以及可视化分析能力;也可与数仓配合使用,对数仓存储整合后的数据进行挖掘、可视化分析。
图5 Fine BI
在组织内一套BI系统的构建并非易事,它往往要和组织架构、业务架构、IT架构、数据架构等顶层系统性设计相结合,才能建设符合组织发展趋势的系统。
在这里只做产品功能层面的核心能力讲述,如数据连接、数据处理、可视化分析、多维交互分析以及数据应用的共享分发等。
图6 BI核心能力
数据连接:连接业务系统数据,便于在BI平台统一管理和取数。
数据处理:对接入原始数据读取、转化、建模等操作,构建方便业务主题分析的数据集。
可视化分析:提供可视化面板、拖拽式操作制作图表、报告等,让用户进行自助式数据分析。
多维交互分析:提供上卷下钻、联动跳转等功能,让用户对数据进行多维剖析进而发现问题。
数据应用分发:将数据分析结果和思路制作成报告、数据门户、领导驾驶舱等,通过不同数据应用的分发共享,以达到协作、汇报等目的。
4.功能结构
BI系统在设计上除了要遵循企业架构、业务架构外,主要依据是数据架构,也就是数据在系统内流转的思路。从“数据连接—数据准备—可视化分析—数据应用分发”,通过一系列组件实现数据建模和可视化等功能。
图7 BI核心功能结构
数据连接模块
需要支持连接多种数据源,如关系型数据库MySQL、Oracle,通过 JDBC 的方式直接连接数据库。同时支持Excel本地文件上传以及大数据平台如clickhouse对接等。
数据准备模块
通常数据分组分包、可视化ETL等功能,主要是将连接到BI系统的数据进行整合、建模。将数据源内的原始工作表,按需取数放入数据包中,在可视化ETL中将工作表行列转化、合并、过滤等操作,加工成业务分析所需要的工作表。
仪表板模块
仪表板模块是业务人员使用频率较高的模块,通常具有可视化分析、多维交互分析、可视化编排等功能。它主要是将数据字段映射到可视化图形,同时提供多维交互分析,最终呈现可视化结果。
可视化分析主要是将工作表数据字段通过拖拽操作映射到图表维度、指标上,从而绘制出各类图表,常见的图表类型有趋势类、占比类、分布类、空间类、关系类等。
多维交互分析(也是OLAP分析),是通过上卷、下钻、旋转、切片/切块等操作对数据进行多维度分析。
可视化编排是将分析图表、页面组件等进行布局美化,让数据可视化结果更加清晰美观,同时具有更多的页面组件增加分析能力。
数据应用模块
将数据分析的可视化结果,以不同应用的方式分发,通常有驾驶舱、数据门户、移动BI、外部链接、预警通知等功能。
系统管理模块
系统管理模块主要是对整个系统内用户、权限以及资产的管理,能够实现对数据的行列级权限管控,保障数据稳定建设的同时,保障数据安全性。
5.总结
在对BI建设价值、核心功能了解之后,有助于我们结合实际需求去分析BI建设的必要性以及如何建设BI系统。BI系统在实际设计过程中,每个模块都有大量的功能以及细节要去处理。需先从全局概览其全貌,再深入到模块细节设计。
我认为BI系统本质是依据数据的流转思路进行设计,从数据采集、数据分析到最后的可视化应用,在下一篇将通过BI系统框架设计来看如何将产品落地并绘制原型图。