Python数据可视化1.1 数据、信息、知识和观点

简介:

摘要


数据可视化概念框架

当代,网络和社交媒体的兴起,产生了大量数据,而且数据量的增长已超乎想象。这种现象是怎么发生的?又是何时发生的?

十年前,一种处理问题的新方法演变为:跨企业的从数据源收集、整合大量数据,并进行运算的研究工作。他们这样做的目标是用海量数据改善决策过程。在此期间,促使Amazon、Yahoo和Google这样的公司在处理大量数据方面取得了显著进展。这些里程碑式的成就促使一些大数据分析技术的诞生。当然,我们不会追究大数据的细节问题,但是我们将尝试探索,为什么很多机构改变了他们以往的模式,用类似的想法获得更好的决策。

到底如何用这些海量数据做出更好的决策?这是我们的终极目标,但首先让我们理解数据、信息和知识间的差异,以及它们与数据可视化之间的关系。或许会有这样一个疑问,为什么要讨论数据、信息和知识。我们将就下面的脉络具体展开:怎样开始、用什么开始、这些内容如何有益于问题解决,以及可视化的作用。我们将通过简要回顾涉及的程序步骤,确定数据可视化所需的概念框架。

本章将包括以下主题:

数据、信息、知识和观点之间的差异

信息转化为知识,进而转化为观点

收集、处理和组织数据

数据可视化的历史

数据可视化如何帮助决策

可视化图像


1.1 数据、信息、知识和观点


数据、信息和知识被广泛用于计算机科学领域。通常,这些术语有很多种充满争议且不相一致的定义。在深入研究这些定义之前,我们先理解这些术语与可视化之间的关系。数据可视化的主要目标是从数据或信息中得出观点(隐含的真理)。本书有关数据、知识和观点的整个讨论属于计算机科学的范畴,而非心理学或认知科学。认知科学方面的文献请参见:https://www.ucsf.edu/news/2014/05/114321/converting-data-knowledge-insight-and-action

1.1.1 数据

数据是得出结论的前提。尽管在一些特定的背景下,数据和信息看起来相关联。但实际上,数据是离散、客观事实的数字表示。作为后续工作的基础,数据会有不同的组织和安排形式,以方便得到回答实际问题的有用信息。

数据可以是非常简单却庞大冗杂的。离散数据本身不能用于决策。这是因为它没有意义,而且更重要的是,它们之间没有结构或关系。数据收集、转换和储存的过程因数据类型和储存方法的不同而有很多变化。数据有很多形式,一些常见形式如下:

CSV文件

数据库表格

文件格式(Excel、PDF、Word等)

HTML文件

JSON文件

文本文件

XML文件

1.1.2 信息

信息是处理后的数据,为实际问题提供答案。当我们增加一种关系或一个关联时,数据就成为信息。这种关联通过提供数据背景来完成。这个背景有助于我们回答数据相关的问题。

比如,我们假定一名篮球员的数据包含身高、体重、位置、大学、出生日期、应招入队,选拔轮数,NBA-登场和新成员排名。问题“哪位球员是首位应征入队、身高在6英尺以上且担任控球后卫?”的回答是一条信息。

类似地,每个球员的得分也是一条数据。问题“今年每次比赛得分最高的选手是谁?分数是多少?”的回答“LeBron James,27.47”同样也是一条信息。

1.1.3 知识

当人类解释和组织信息,并用以决策时,知识便应运而生。知识是数据、信息和通过经验获得的技能。知识包括做出适当决策的能力和执行时所需的技能。

作为必不可少的部分(连接数据)允许我们理解每条信息的相对重要性。通过比较过去的结果和识别模式,我们不必从头开始寻找问题的解决方法。下图总结了数据、信息和知识的概念。

 

知识以不断增长的方式发生变化,特别是当信息被重新安排或被重新组织,或在一些计算算法发生变化时。知识像箭一样直击算法的结果,该算法与来自数据的过去信息有关。在许多情况下,可以通过与结果的视觉交互获得知识。另一方面,观点开启了通向未来的途径。

1.1.4 数据分析和观点

在我们深入研究观点的定义及其如何与实际问题相关联之前,我们不妨先看看如何获取观点。十年间,组织机构已尽力弄懂他们拥有的所有数据和信息,特别是探索数据量的大小。为了基于已有数据信息得到最佳或现实的决策,他们发现了数据分析的重要性(也就是数据分析学或分析学)。

分析学依赖数学算法来确定产生观点的数据间的关系。一种简单的方式是通过打比方来理解观点:当数据没有结构且与实际问题相对应时,通过将数据结构化,使其更接近实际目标,这有助于人们更清晰、更深刻地理解数据。观点是“我发现了”的那个时刻,得到突破性的结果。一个人不应该困惑于术语分析学和商务智能。当商务智能提供基于历史数据的分析结果时,分析学就具备了预测能力。

分析学通常用于更广泛的数据,为此,数据内外之间的协作时常发生。在一些实际问题的范式中,这种协作仅发生在海量数据的内部,但在大多数情况下,加入外界信息有助于链接点或完成拼图。最常见的两个外部数据链接源是社交媒体和用户群体。

在本章,我们应用分析法理论得出观点、驱动商业价值,以及改善决策和更好地理解用户,我们得出真实生活故事中有价值的结论。

相关文章
|
7月前
|
数据可视化 关系型数据库 MySQL
基于python大数据的的海洋气象数据可视化平台
针对海洋气象数据量大、维度多的挑战,设计基于ECharts的可视化平台,结合Python、Django与MySQL,实现数据高效展示与交互分析,提升科研与决策效率。
|
7月前
|
数据采集 Web App开发 数据可视化
Python零基础爬取东方财富网股票行情数据指南
东方财富网数据稳定、反爬宽松,适合爬虫入门。本文详解使用Python抓取股票行情数据,涵盖请求发送、HTML解析、动态加载处理、代理IP切换及数据可视化,助你快速掌握金融数据爬取技能。
5160 1
|
8月前
|
数据采集 Web App开发 自然语言处理
新闻热点一目了然:Python爬虫数据可视化
新闻热点一目了然:Python爬虫数据可视化
|
7月前
|
Java 数据挖掘 数据处理
(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...
Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。 Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。 Pandas 主要引入了两种新的数据结构:Series 和 DataFrame。
697 0
|
7月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
7月前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
8月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
8月前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
SQL 关系型数据库 数据库连接
使用python3抓取pinpoint应用信息入库
使用python3通过pinpoint api来获取pinpoint中应用基础信息、上下游链路,并入库
2198 0
|
开发者 索引 Python
实践:如何使用python在网页的表格里抓取信息
实践:如何使用python在网页的表格里抓取信息
366 0

推荐镜像

更多