Python数据可视化1.1 数据、信息、知识和观点

简介:

摘要


数据可视化概念框架

当代,网络和社交媒体的兴起,产生了大量数据,而且数据量的增长已超乎想象。这种现象是怎么发生的?又是何时发生的?

十年前,一种处理问题的新方法演变为:跨企业的从数据源收集、整合大量数据,并进行运算的研究工作。他们这样做的目标是用海量数据改善决策过程。在此期间,促使Amazon、Yahoo和Google这样的公司在处理大量数据方面取得了显著进展。这些里程碑式的成就促使一些大数据分析技术的诞生。当然,我们不会追究大数据的细节问题,但是我们将尝试探索,为什么很多机构改变了他们以往的模式,用类似的想法获得更好的决策。

到底如何用这些海量数据做出更好的决策?这是我们的终极目标,但首先让我们理解数据、信息和知识间的差异,以及它们与数据可视化之间的关系。或许会有这样一个疑问,为什么要讨论数据、信息和知识。我们将就下面的脉络具体展开:怎样开始、用什么开始、这些内容如何有益于问题解决,以及可视化的作用。我们将通过简要回顾涉及的程序步骤,确定数据可视化所需的概念框架。

本章将包括以下主题:

数据、信息、知识和观点之间的差异

信息转化为知识,进而转化为观点

收集、处理和组织数据

数据可视化的历史

数据可视化如何帮助决策

可视化图像


1.1 数据、信息、知识和观点


数据、信息和知识被广泛用于计算机科学领域。通常,这些术语有很多种充满争议且不相一致的定义。在深入研究这些定义之前,我们先理解这些术语与可视化之间的关系。数据可视化的主要目标是从数据或信息中得出观点(隐含的真理)。本书有关数据、知识和观点的整个讨论属于计算机科学的范畴,而非心理学或认知科学。认知科学方面的文献请参见:https://www.ucsf.edu/news/2014/05/114321/converting-data-knowledge-insight-and-action

1.1.1 数据

数据是得出结论的前提。尽管在一些特定的背景下,数据和信息看起来相关联。但实际上,数据是离散、客观事实的数字表示。作为后续工作的基础,数据会有不同的组织和安排形式,以方便得到回答实际问题的有用信息。

数据可以是非常简单却庞大冗杂的。离散数据本身不能用于决策。这是因为它没有意义,而且更重要的是,它们之间没有结构或关系。数据收集、转换和储存的过程因数据类型和储存方法的不同而有很多变化。数据有很多形式,一些常见形式如下:

CSV文件

数据库表格

文件格式(Excel、PDF、Word等)

HTML文件

JSON文件

文本文件

XML文件

1.1.2 信息

信息是处理后的数据,为实际问题提供答案。当我们增加一种关系或一个关联时,数据就成为信息。这种关联通过提供数据背景来完成。这个背景有助于我们回答数据相关的问题。

比如,我们假定一名篮球员的数据包含身高、体重、位置、大学、出生日期、应招入队,选拔轮数,NBA-登场和新成员排名。问题“哪位球员是首位应征入队、身高在6英尺以上且担任控球后卫?”的回答是一条信息。

类似地,每个球员的得分也是一条数据。问题“今年每次比赛得分最高的选手是谁?分数是多少?”的回答“LeBron James,27.47”同样也是一条信息。

1.1.3 知识

当人类解释和组织信息,并用以决策时,知识便应运而生。知识是数据、信息和通过经验获得的技能。知识包括做出适当决策的能力和执行时所需的技能。

作为必不可少的部分(连接数据)允许我们理解每条信息的相对重要性。通过比较过去的结果和识别模式,我们不必从头开始寻找问题的解决方法。下图总结了数据、信息和知识的概念。

 

知识以不断增长的方式发生变化,特别是当信息被重新安排或被重新组织,或在一些计算算法发生变化时。知识像箭一样直击算法的结果,该算法与来自数据的过去信息有关。在许多情况下,可以通过与结果的视觉交互获得知识。另一方面,观点开启了通向未来的途径。

1.1.4 数据分析和观点

在我们深入研究观点的定义及其如何与实际问题相关联之前,我们不妨先看看如何获取观点。十年间,组织机构已尽力弄懂他们拥有的所有数据和信息,特别是探索数据量的大小。为了基于已有数据信息得到最佳或现实的决策,他们发现了数据分析的重要性(也就是数据分析学或分析学)。

分析学依赖数学算法来确定产生观点的数据间的关系。一种简单的方式是通过打比方来理解观点:当数据没有结构且与实际问题相对应时,通过将数据结构化,使其更接近实际目标,这有助于人们更清晰、更深刻地理解数据。观点是“我发现了”的那个时刻,得到突破性的结果。一个人不应该困惑于术语分析学和商务智能。当商务智能提供基于历史数据的分析结果时,分析学就具备了预测能力。

分析学通常用于更广泛的数据,为此,数据内外之间的协作时常发生。在一些实际问题的范式中,这种协作仅发生在海量数据的内部,但在大多数情况下,加入外界信息有助于链接点或完成拼图。最常见的两个外部数据链接源是社交媒体和用户群体。

在本章,我们应用分析法理论得出观点、驱动商业价值,以及改善决策和更好地理解用户,我们得出真实生活故事中有价值的结论。

相关文章
|
2天前
|
JSON 安全 数据安全/隐私保护
深度剖析:Python如何运用OAuth与JWT,为数据加上双保险🔐
【10月更文挑战第2天】当讨论Web应用安全时,认证与授权至关重要。OAuth 2.0 和 JSON Web Tokens (JWT) 是现代Web应用中最流行的两种认证机制。OAuth 2.0 是一种开放标准授权协议,允许资源拥有者授予客户端访问资源的权限,而不需直接暴露凭据。JWT 则是一种紧凑、URL 安全的信息传输方式,自我包含认证信息,无需服务器查询数据库验证用户身份。在 Python 中,Flask-OAuthlib 和 PyJWT 分别用于实现 OAuth 2.0 和 JWT 的功能。结合两者可构建高效且安全的认证体系,提高安全性并简化交互过程,为数据安全提供双重保障。
15 7
|
1天前
|
数据采集 存储 监控
如何使用 Python 爬取商品数据
如何使用 Python 爬取京东商品数据
15 3
|
1天前
|
数据采集 存储 监控
如何使用 Python 爬取京东商品数据
如何使用 Python 爬取京东商品数据
11 2
|
1天前
|
小程序 Python
利用Python编程提取身份证的信息
利用Python编程提取身份证的信息
10 2
|
1天前
|
Android开发 Swift iOS开发
python 基于电脑蓝牙连接获取手机的实时数据
python 基于电脑蓝牙连接获取手机的实时数据
6 0
|
2天前
|
数据可视化 数据挖掘 大数据
使用Python进行简单数据可视化
【10月更文挑战第2天】使用Python进行简单数据可视化
13 0
|
2天前
|
Web App开发 前端开发 JavaScript
Python编程—Ajax数据爬取(一)
Python编程—Ajax数据爬取(一)
|
2天前
|
前端开发 NoSQL MongoDB
Python编程—Ajax数据爬取(二)
Python编程—Ajax数据爬取(二)
13 0
|
5月前
|
开发者 索引 Python
实践:如何使用python在网页的表格里抓取信息
实践:如何使用python在网页的表格里抓取信息
|
SQL 关系型数据库 数据库连接
使用python3抓取pinpoint应用信息入库
使用python3通过pinpoint api来获取pinpoint中应用基础信息、上下游链路,并入库
1958 0