数据挖掘2.1——绪论 知识点整理

简介: 数据挖掘2.1——绪论 知识点整理

数据挖掘是一个涵盖多个领域的交叉学科,旨在从大规模数据集中发现有用的模式、关系和信息。在本文中,我们将介绍数据挖掘的背景、定义、过程、任务和应用,以及相关的问题和挑战。

参考

https://blog.csdn.net/qq_41433002/article/details/123260714

1.数据挖掘背景、 历史及发展

数据挖掘起源于数据库领域,但随着计算能力的提高和大规模数据集的普及,它逐渐成为一个独立的研究领域。数据挖掘的历史可以追溯到上世纪80年代,随后在商业、科学和社会领域得到广泛应用。数据挖掘的发展与机器学习、统计学、数据库技术和人工智能等领域的交叉融合密不可分。

2.数据挖掘定义

2.1数据定义

数据是代表一个或一组变量的定性或定量属性的信息片段。 数据通常被视为信息和知识的最低层次的抽象。

数据类型

  • 连续、二值
  • 离散、字符串
  • 符号

存储

  • 物理
  • 逻辑

主要问题

  • 类型转换
  • 错误

2.2数据挖掘定义

数据挖掘是从大量的、 不完全的、 有噪声的、 模糊的、 随机的数据中提取隐含在其中的、 人们事先不知道的、 但又是潜在有用的信息和知识的过程。

Data Mining is the process of automatically extracting interesting useful hidden patterns from usually massive, incomplete and noisy data. [Wikipedia]

3.数据挖掘过程

  1. 数据是未经加工和修饰的原料。
    数据是可以记录、 通信和能识别的符号, 它通过有意义的组合来表达现实世界中的某种实体 (具体对象、 事件、 状态或活动) 的特征。
  2. 信息是对数据经过过滤、 融合、标准化、 对比、 翻译、 分类、 管理等一系列环节处理后得到的。
  3. 知识是对信息内容进行提炼、 比较、 挖掘、 分析、 概括、判断和推论得到的。

4.数据挖掘任务关联规则挖掘

  • 关联规则挖掘
  • 非监督式机器学习 —— 聚类
  • 监督式机器学习
  • 离散标签预测 —— 标签分类
  • 连续标签预测 —— 数值预测
  • 回归

5.数据挖掘应用

5.1应用场景

商务智能:通过数据挖掘等技术可以获得隐藏在各种数据中的有利信息,从而帮助商家进一步调整营销策略。

信息识别:信息识别是指信息接受者从一定的目的出发,运用已有的知识和经验,对信息的真伪性、有用性进行辨识和甄别。

搜索引擎:根据用户提供的关键词,在互联网上搜索用户最需要的内容。

辅助医疗:对大量历史诊断数据进行分析和挖掘,有助于医生对病人的病情进行有效的判断。

5.2存在的问题

数据类型的多样性

高维度数据

噪声数据

分析与挖掘结果的可视化

隐私数据的保护

完善

数据挖掘 2.1 —— 绪论

数据挖掘是一个涵盖多个领域的交叉学科,旨在从大规模数据集中发现有用的模式、关系和信息。在本文中,我们将介绍数据挖掘的背景、定义、过程、任务和应用,以及相关的问题和挑战。

1. 数据挖掘背景、历史及发展

数据挖掘起源于数据库领域,但随着计算能力的提高和大规模数据集的普及,它逐渐成为一个独立的研究领域。数据挖掘的历史可以追溯到上世纪80年代,随后在商业、科学和社会领域得到广泛应用。数据挖掘的发展与机器学习、统计学、数据库技术和人工智能等领域的交叉融合密不可分。

2. 数据挖掘定义

2.1 数据定义

数据是指存储在计算机或其他媒体中的事实和统计信息的集合。数据可以是结构化的(如数据库中的表格数据)、半结构化的(如XML文档)或非结构化的(如文本文档、图像和音频文件)。

2.2 数据挖掘定义

数据挖掘是从大规模数据集中提取有用信息和模式的过程。它结合了数据库技术、机器学习、统计学和数据可视化等方法,用于识别、分析和预测数据中的隐藏模式和关系。

3. 数据挖掘过程

数据挖掘过程通常包括以下步骤:

  1. 数据收集:获取数据源,并将其存储在适当的数据仓库中。
  2. 数据清洗:处理数据中的噪声、缺失值和异常值,以确保数据质量。
  3. 数据探索:通过统计分析和可视化工具来理解数据的特征和分布。
  4. 特征工程:选择和提取用于建模的重要特征。
  5. 模型建立:选择适当的数据挖掘算法,并训练模型。
  6. 模型评估:使用评估指标来评估模型的性能。
  7. 模型部署:将训练好的模型部署到实际应用中,以进行预测和决策。

4. 数据挖掘任务 - 关联规则挖掘

关联规则挖掘是数据挖掘中的一项重要任务,用于发现数据中的关联关系。它通常应用于市场篮分析和购物篮分析,以揭示不同商品之间的购买关系。例如,如果一位顾客购买了牛奶,那么购买面包的概率也可能很高。

5. 数据挖掘应用

5.1 应用场景

数据挖掘在各个领域中有广泛的应用,包括但不限于:

  • 金融领域:信用评分、风险管理、欺诈检测。
  • 医疗保健:疾病预测、药物发现。
  • 零售业:市场篮分析、库存管理、定价策略。
  • 社交媒体:用户行为分析、内容推荐。
  • 物联网:传感器数据分析、设备故障预测。

5.2 存在的问题

数据挖掘应用也面临一些问题和挑战,包括隐私保护、数据采集、数据质量、模型解释性、计算性能等方面的问题。另外,合规性和伦理问题也需要考虑,尤其是在处理敏感数据时。

目录
相关文章
|
3月前
|
机器学习/深度学习 算法 数据挖掘
数据挖掘2.6——聚类 知识点整理
数据挖掘2.6——聚类 知识点整理
58 0
|
3月前
|
数据采集 机器学习/深度学习 算法
数据挖掘2.5——分类 知识点整理
数据挖掘2.5——分类 知识点整理
40 0
|
3月前
|
存储 算法 数据挖掘
数据挖掘2.4——关联规则挖掘 知识点整理
数据挖掘2.4——关联规则挖掘 知识点整理
85 0
|
3月前
|
数据采集 存储 自然语言处理
数据挖掘2.3——数据预处理 知识点整理
数据挖掘2.3——数据预处理 知识点整理
58 0
|
3月前
|
自然语言处理 数据可视化 搜索推荐
数据挖掘2.2——认识数据 知识点整理
数据挖掘2.2——认识数据 知识点整理
55 0
|
机器学习/深度学习 算法 大数据
大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 线性回归分析算法)
原文:(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 线性回归分析算法) 前言 此篇为微软系列挖掘算法的最后一篇了,完整该篇之后,微软在商业智能这块提供的一系列挖掘算法我们就算总结完成了,在此系列中涵盖了微软在商业智能(BI)模块系统所能提供的所有挖掘算法,当然此框架完全可以自己扩充,可以自定义挖掘算法,不过目前此系列中还不涉及,只涉及微软提供的算法,当然这些算法已经基本涵盖大部分的商业数据挖掘的应用场景,也就是说熟练了这些算法大部分的应用场景都能游刃有余的解决,每篇算法总结包含:算法原理、算法特点、应用场景以及具体的操作详细步骤。
1392 0
|
机器学习/深度学习 算法 大数据
大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 神经网络分析算法原理篇)
原文:(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 神经网络分析算法原理篇) 前言 本篇文章继续我们的微软挖掘系列算法总结,前几篇文章已经将相关的主要算法做了详细的介绍,我为了展示方便,特地的整理了一个目录提纲篇:大数据时代:深入浅出微软数据挖掘算法总结连载,有兴趣...
1073 0
|
算法 大数据 数据挖掘
大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 关联规则分析算法)
原文:(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 关联规则分析算法) 前言 本篇继续我们的微软挖掘算法系列总结,前几篇我们分别介绍了:Microsoft决策树分析算法、Microsoft聚类分析算法、Microsoft Naive Bayes 算法、Microsoft 时序算法,后续还补充了二篇结果预测篇、Microsoft 时序算法——结果预算+下期彩票预测篇,看样子有必要整理一篇目录了,不同的算法应用的场景也是不同的,每篇文章都有它自己的应用场景介绍,有兴趣的同学可以参阅。
1054 0
|
算法 大数据 数据挖掘
大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 顺序分析和聚类分析算法)
原文:(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 顺序分析和聚类分析算法) 前言 本篇文章继续我们的微软挖掘系列算法总结,前几篇文章已经将相关的主要算法做了详细的介绍,我为了展示方便,特地的整理了一个目录提纲篇:大数据时代:深入浅出微软数据挖掘算法总结连载,有兴趣的童鞋可以点击查阅,本篇我们将要总结的算法为:Microsoft顺序分析和聚类分析算法,此算法为上一篇中的关联规则分析算法的一个延伸,为关联规则分析算法所形成的种类进行了更细粒度的挖掘,挖掘出不同种类内部的事例间的顺序原则,进而用以引导用户进行消费。
1203 0
|
算法 数据挖掘 大数据
大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 时序算法——结果预算+下期彩票预测篇)
原文:(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 时序算法——结果预算+下期彩票预测篇) 前言 本篇我们将总结的算法为Microsoft时序算法的结果预测值,是上一篇文章Microsoft时序算法的一个总结,上一篇我们已经基于微软案例数据库的销售历史信息表,利用M...
1258 0

热门文章

最新文章

相关产品