数据分析概述

简介: 数据分析概述


1.数据分析的基本类型:

这就不得不提到Gartner分析学价值扶梯模型了,这个模型从复杂度和价值两个维度,将数据分析分为描述性分析(Descriptive Analytics)、诊断性分析(Diagnostic Analytics)、预测性分析(Predictive Analytics)和规范性分析(Prescriptive Analytics)

描述性分析:主要关注的是过去,回答“已发生了什么?”,用来揭示客观现象。

诊断性分析:主要关注的是过去,回答“为什么发生?”,用来揭示数据之间的因果关系。

预测性分析:主要关注的是未来,回答“将要发生什么”,属于预测性分析。

规范性分析:主要关注的是模拟与优化,回答“我们如何使它发生”,用来给出最优行动建议,产生产业价值。

2.数据分析的实现方式:

主要有3种:机器学习统计学数据可视化

3.机器学习和统计学的区别:

3.1统计学

统计学包括两种:

也就是说统计学需要事先对处理对象的概率分布做出假定(比如正态分布),而机器学习不需要做事先假定。

统计学通过各种统计指标(比如R方、置信区间)来评估统计模型(比如线性回归模型)的拟合优度,而机器学习通过交叉验证或划分训练集和测试集的方法来评估算法的准确度。

统计学中的描述统计常用的指标有:

统计学中的推断统计(利用样本数据来推断总体特征)常用的理论有:

参数估计(点估计、区间估计)

假设检验(置信度)

3.2机器学习

基于机器学习的数据分析主要分为两个阶段:

  1. 建模阶段:基于已知数据集(x, y)算法,学习出一个具体的分析模型
  2. 模型应用阶段:将新样本的特征(x new) 作为分析模型的输入,通过模型计算出对应的目标值(y predicted)

机器学习算法分为:

  1. 有监督学习:所有示例均有标签数据(包括最近邻、朴素贝叶斯、决策树、随机森林、线性回归、支持向量机、神经网络)
  2. 无监督学习:所有示例均无标签数据(k-means聚类、主成分分析、关联规则分析)
  3. 半监督学习:部分示例带有标签信息;部分示例不带标签信息(半监督分类方法、半监督回归方法、半监督聚类方法、半监督降维方法)


目录
相关文章
|
6月前
|
机器学习/深度学习 数据采集 数据可视化
【数据分析与可视化】SKlearn主要功能和模块概述(图文解释 简单易懂)
【数据分析与可视化】SKlearn主要功能和模块概述(图文解释 简单易懂)
226 0
|
4月前
|
数据采集 机器学习/深度学习 数据可视化
关于Python数据分析项目的简要概述:从CSV加载数据,执行数据预处理,进行数据探索,选择线性回归模型进行训练,评估模型性能并优化,最后结果解释与可视化。
【7月更文挑战第5天】这是一个关于Python数据分析项目的简要概述:从CSV加载数据,执行数据预处理(填充缺失值,处理异常值),进行数据探索(可视化和统计分析),选择线性回归模型进行训练,评估模型性能并优化,最后结果解释与可视化。此案例展示了数据科学的典型流程。
74 2
|
6月前
|
数据采集 传感器 数据可视化
|
6月前
|
机器学习/深度学习 数据采集 人工智能
数据分析概述2(详细介绍机器学习
数据分析概述2(详细介绍机器学习
61 0
|
机器学习/深度学习 存储 数据可视化
数据分析与可视化概述
数据分析与可视化概述
196 1
|
存储 数据可视化 数据挖掘
第一章 数据分析与可视化概述
第一章 数据分析与可视化概述
215 0
第一章 数据分析与可视化概述
|
数据可视化 物联网 数据挖掘
快速了解物联网数据分析数据资产概述
数据资产帮助用户管理和展示物联网平台中的所有数据资产,让物联网企业更好地构建和管理企业级数据资产知识库
834 0
|
Python 开发工具 IDE
带你读《Python3智能数据分析快速入门》之一:Python概述
本书作者从实践出发,总结了智能数据分析常用的方法,深入浅出地介绍了智能数据分析编程过程中的相关知识。书中涵盖Python环境搭建、Python基础语法、控制语句、函数、面向对象编程、数值计算、数据处理、绘图、模型构建等内容,还配套提供了程序代码及数据。此外,每章的最后均提供课后习题,帮助读者快速掌握Python的使用方法。
|
存储 分布式计算 大数据
《Spark与Hadoop大数据分析》——2.2 Apache Spark概述
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.2节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1745 0
|
分布式计算 监控 大数据
《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.1节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1876 0