数据可视化系列-01大数据可视化基础

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 数据可视化系列-01大数据可视化基础

1.概述


本系列博客是数据可视化系列,包括理论与使用quick bi实现相关数据可视化案例。


2.大数据可视化基础


2.1 数据可视化基础知识

参考:https://zhuanlan.zhihu.com/p/469438901


1、数据可视化简史:

早期地图与图表、测量与理论、新的图形形式、现代信息图形设计的开端、数据制图的黄金时期、现代休眠期、复苏期、动态交互式数据可视化、大数据时代


2、数据可视化是什么:

数据可视化的概念和优势


1、化繁为简,便于理解

这就是“一图胜过千言万语”,用图表将复杂的数据进行汇总,这种交流可以让商业领导更快地理解并处理他们的信息。

2、寻找新的趋势和机会

利用大数据可视化监控关键指标,使指标更阳光透明,及时发现问题并及时作出反应。

3、加强数据互动

数据可视化的主要好处是能及时地带来风险变化。但是不像静态图,交互数据可视化鼓励用户探索甚至操作数据,从而发现其它的“秘密”。这样可以更好地了解如何使用分析。


3、数据可视化的分类:

参考:https://zhuanlan.zhihu.com/p/541421592

科学可视化:


科学可视化是可视化领域最早、最成熟的一个跨学科研究与应用领域。

面向的领域主要是自然科学,如物理、化学、气象气候、航空航天、医学、生物学等各个学科,这些学科通常需要对数据和模型进行解释、操作与处理,旨在寻找其中的模式、特点、关系以及异常情况。


信息可视化:


信息可视化处理的对象是抽象数据集合,起源于统计图形学,又与信息图形、视觉设计等现代技术相关。

其表现形式通常在二维空间,因此关键问题是在有限的展现空间中以直观的方式传达大量的抽象信息。

17075eebf22f16c9a0808ef89f90e9fe_359f16a181e24bcd977f459549d967be.png


可视分析学:


可视分析学被定义为一门以可视交互为基础的分析推理科学。

它综合了图形学、数据挖掘和人机交互等技术,以可视交互界面为通道,将人感知和认知能力以可视的方式融入数据处理过程,形成人脑智能和机器智能优势互补和相互提升,建立螺旋式信息交流与知识提炼途径,完成有效的分析推理和决策。

c5c9a343f9156746aa83c3fe556a2063_3ba16066941743d0baa9193a44ff1490.png


4、数据可视化流程:

数据采集:爬虫或是读取数据库excel

数据处理和变换:处理不规范的数据,并且把数据进行适当变化

可视化映射:把指把经过处理的数据信息映射为视觉元素的过程。

人机交互:通过交互可以避免罗列太多不关注的数据,突出客户想要的重点喜喜


5、数据可视化的意义:

真:真实性:正确反映数据的本质,以及对所反映的事物和规律正确的感受和认识;


善:倾向性,可视化所表达的意象对于社会和生活的意义和影响;


美:艺术完美性,形式与内容和谐统一,有艺术个性,有创新和发展。


2.2 认识BI和数据可视化工具

参考:https://baijiahao.baidu.com/s?id=1715847603289992975


1、BI的简介:

BI概念和优点:

我们通常会采取大数据相关技术,如数据仓库、数据挖掘、数据可视化等技术进行数据分析,通过分析结果来辅助业务决策。这就是商业智能(BI),它是挖掘数据价值的一种手段,表现形态可以是一套大数据技术组合的解决方案,也可能是一款数据分析工具。

本篇文章所写的BI系统是指独立的一款可视化数据分析工具,它与传统BI不同的是,更注重于业务人员的自助式、探索式敏捷分析。


BI的特点:

商业智能BI通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。

一、商业智能BI的特点


很多企业在创业初期是不会实施商业智能这种经营模式的,因为在商业智能BI发展初期其不仅程序复杂、操作复杂,还容易出现崩溃现象,是很多企业自己无法解决的。在互联网的飞速发展下,商业智能BI化也经过了一次次的改革和升级,变成了现在通俗易懂、易于操作的智能化经营模式,其特点主要有灵活性、可配置性以及可变化性三大主要特点。


BI的主要功能

BI系统功能一:数据集成

对于许多已经进入成熟阶段的大型企业来说,主要任务是整合当前的可用资源,抓住高粘度的客户需求,实现企业稳定的长期经营和发展。BI系统的功能主要是帮助企业整合业务数据,帮助用户找出数据中需要警惕的部分。这种数据整合能力是目前行业内较好的BI系统的主要功能。


BI系统功能二:报表统计

大数据BI系统是一个功能非常全面的商业分析系统。该系统不仅可以为用户整合相关业务数据,还可以根据内置的智能报表生成系统,统计用户的所有业务数据,生成相关报表。利用BI系统的这一功能,商业用户可以快速生成报表。


BI系统功能三:商业决策

在企业规模达到一定规模后,任何经营决策都会牵一发而动全身,所以企业高层往往对企业未来的规划更加谨慎和谨慎。BI系统作为一种智能分析软件,可以做出超越人类感情的理性分析。这种分析对于局里的企业管理者来说非常重要,很多重要的企业决策往往是经过BI系统的分析后得出结论的。


BI系统是一种自下而上的智能分析软件,可以根据底层大数据判断企业未来的发展趋势和需要调整的经营策略。目前,BI系统的主要功能是为企业提供数据整合功能。同时,根据整合后的数据,可以快速生成各种详细的报根据大数据为企业提供未来的业务决策功能。


BI的价值:

BI的核心价值在于满足企业不同人群对数据查询、分析和探索的需求,从而为管理和业务提供数据依据和决策支撑。这个说法较为宏观,下面从组织、业务、人员等角度分析其价值。


驱动组织数字化转型:企业数字化转型的本质是经验驱动决策向数据驱动决策的转变,如何最大化利用数据价值成为关键。需要不断挖掘数据,提炼出有效信息,并且将有效信息转化为可参考、可执行的知识,最终通过数据支撑管理决策。这个过程涉及到数据在BI系统内的流转,如将数据接入系统,对数据进行业务主题分析,最终将结果可视化展示作为决策依据。

7533a22e41dd561fb11749d9ba4f56ae_b503f0f48e1444adb53b7d9256b88dbb.png

图3 将数据变得有价值


推动业务精细化运营:BI 作为数据驱动决策的第步,其主要推动企业在从“粗放式”向“精细化”管理过渡中,从提运营效率、增加客户收,更有效地提企业竞争。


知识共享沉淀:通过BI将组织内成员的数据分析方法、经验落地成为报告等内容,通过知识共享沉淀来提高组织整体的数据素养。


同时BI为组织内部不同角色成员所提供的核心价值不同,下面通过高管、业务执行人员、IT人员三种角色来说。


对管理人员:BI主要是为其提供管理依据,通过数据来辅助决策。让管理者通过数据反馈的结果,掌握组织的实时运转状况。


对于业务执行人员:提高业务效率,促进业务流程优化。业务人员面对的数据需求往往是非常复杂的,如何高效地提炼出数据分析结果成为关键,自助式BI分析让执行人员更专注于业务主题分析。


对于IT人员:打通数据孤岛,释放IT资源。各部门间都要IT进行数据开发,导致开发资源紧张。通过BI将各业务系统数据打通,节约开发资源,缩短建设周期。


2、可视化BI工具:

Tableau

参考:https://www.tableau.com/

Tableau Software致力于帮助人们查看并理解数据。Tableau 帮助任何人快速分析、可视化并分享信息。超过 42,000 家客户通过使用 Tableau 在办公室或随时随地快速获得结果。数以万计的用户使用 Tableau Public 在博客与网站中分享数据。


Superset

superset是由Airbnb(知名在线短租赁公司)开源的数据分析与可视化平台(曾用名Caravel、Panoramix)Apache Superset (incubating)

该工具主要特点是可自助分析、自定义仪表盘、分析结果可视化(导出)、用户/角色权限控制,还集成了一个SQL编辑器,可以进行SQL编辑查询对结果集进行保存可视化等。

204b1faf1150b01f65b0559faec80dc6_83db6ca45fef4a7fa66adbfb375f1688.png


Metabase

参考:https://blog.csdn.net/qq_35063002/article/details/119672199

metabase是一款开源的BI分析工具,开发语言clojure+React为主、也有高阶的收费版。 官网:https://www.metabase.com/ 可以利用Metabase进行数据分析,数据可视化,报表生成等。开源地址:https://github.com/metabase/metabase


官网学习地址:https://www.metabase.com/learn/getting-started/getting-started.html


优势说明:


安装便捷、流程清晰、结构清晰

权限设置弱

自助的表字段信息透视功能,智能化探索,自动出看板,自动关联数据的分布,炫酷

不支持跨库查询

偏前端和SQL分析


二次开发


技术架构:Clojure+Recat+Redux

提供了完整的API文档,可凭借丰富的API与文档完成许多二次开发


DataEase

参考:https://zhuanlan.zhihu.com/p/392799945

最近突然发现在github社区很火的一款可视化数据分析工具,就简单尝试了下,发现还挺好用的,就简单说下这款产品。

首先扒了扒这款软件的背后,这款软件诞生的地方是一家叫飞致云的公司,https://www.fit2cloud.com 这是官网。感兴趣可以去了解下产品,除了这块dataease,还有其他几款产品。


网易有数BI

参考:https://youdata.163.com/

ec644d35038d6eb551e7eb08996df4c2_a6efa779ccc84c8aabdbe5b31262417a.png


FineBI

参考:https://www.finebi.com/

FineBI是帆软软件有限公司推出的一款商业智能(Business Intelligence)产品,它可以通过最终业务用户自主分析企业已有的信息化数据,帮助企业发现并解决存在的问题,协助企业及时调整策略做出更好的决策,增强企业的可持续竞争性。


Quick BI

参考:https://www.aliyun.com/product/bigdata/bi

045d7962ab213f80b3593f224265c308_bf777694297449e4859fdea29862bbcc.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
206 2
|
8月前
|
分布式计算 数据可视化 大数据
于SpringBoot+大数据城市景观画像可视化设计和实现
于SpringBoot+大数据城市景观画像可视化设计和实现
|
4月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
119 5
|
4月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
52 4
|
6月前
|
数据可视化 大数据
【Echarts大屏】大数据平台可视化大屏
【Echarts大屏】大数据平台可视化大屏
【Echarts大屏】大数据平台可视化大屏
|
6月前
|
数据采集 数据可视化 大数据
【优秀python大屏案例】基于python flask的前程无忧大数据岗位分析可视化大屏设计与实现
本文介绍了一个基于Python Flask框架的前程无忧大数据岗位分析可视化大屏系统,该系统通过爬虫技术采集招聘数据,利用机器学习算法进行分析,并以可视化大屏展示,旨在提高招聘市场数据分析的效率和准确性,为企业提供招聘决策支持和求职者职业规划参考。
238 2
|
6月前
|
SQL 分布式计算 数据可视化
基于Hadoop的大数据可视化方法
【8月更文第28天】在大数据时代,有效地处理和分析海量数据对于企业来说至关重要。Hadoop作为一个强大的分布式数据处理框架,能够处理PB级别的数据量。然而,仅仅完成数据处理还不够,还需要将这些数据转化为易于理解的信息,这就是数据可视化的重要性所在。本文将详细介绍如何使用Hadoop处理后的数据进行有效的可视化分析,并会涉及一些流行的可视化工具如Tableau、Qlik等。
203 0
|
7月前
|
机器学习/深度学习 人工智能 数据可视化
大数据时代的数据可视化技术:趋势、挑战与未来展望
【7月更文挑战第22天】随着技术的不断进步和应用场景的不断拓展,数据可视化技术将在更多领域发挥更大的作用。未来,我们可以期待更加智能化、实时化、沉浸式和民主化的数据可视化解决方案的出现。同时,随着数据量的不断增加和数据类型的不断丰富,数据可视化技术也将面临更多的挑战和机遇。只有不断创新和优化技术才能满足日益增长的需求并推动数据可视化技术的持续发展。
|
6月前
|
数据可视化
Echarts数据可视化大屏开发| 大数据分析平台
Echarts数据可视化大屏开发| 大数据分析平台
|
6月前
|
监控 数据可视化 前端开发
【前端】政务服务大数据可视化监控平台(源码+html+css+js)
【前端】政务服务大数据可视化监控平台(源码+html+css+js)
138 0