章一 导论(1)

简介: 章一 导论 由于人们认知能力的有限性,海量信息在给人们带来方便的同时也带来了一大堆的问题。 第一是信息超载,难以消化; 第二是有效信息难以提取,真假信息难以辨识; 第三是信息安全难以保证,有意或无意的行为经常会威胁到信息的安全; 第四是信息形式不一致,既有结构化的信息,也有非结构化的信息,难以统一处理。

章一 导论


由于人们认知能力的有限性,海量信息在给人们带来方便的同时也带来了一大堆的问题。
第一是信息超载,难以消化;
第二是有效信息难以提取,真假信息难以辨识;
第三是信息安全难以保证,有意或无意的行为经常会威胁到信息的安全;
第四是信息形式不一致,既有结构化的信息,也有非结构化的信息,难以统一处理。
普通的数据库系统虽然可以高效地实现数据的录入、查询、统计和维护等功能,并可以对数据做一些简单分析处理,却无法挖掘和提供数据背后隐含的、人们真正需要的有价值的知识。
数据挖掘以一种全新的概念改变着人类加工和利用信息的方式,使人们从单纯的信息收集、存储、整理、利用、变无序信息为有序信息,向信息整合、信息创新、信息再生产以及变信息为知识的深层次加工等转变。
数据挖掘是一门新兴的综合性学科,它融合了其它许多学科领域的技术,包括数据库技术、统计分析、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像数据库与信号处理以及空间数据分析等;能从更深层次挖掘存在于数据内部的、有效的、新颖的、具有潜在效用的、乃至最终可理解的模式和知识。
发现的知识可以被用于信息管理、查询优化、决策支持、过程控制等,还可以用于数据自身的维护。
一、数据挖掘
Data Mining数据挖掘也叫数据开采,是从大量的、不完整的、有噪声的、模糊的和随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在而有用的信息和知识的过程。也有称它为:知识抽取Knowledge Extraction、数据考古学Data Archaeology、数据捕捞Data Dredging等。
通俗地讲,数据挖掘就是通过对大量业务数据进行抽取、转换、分析和模型化处理,将数据转化为有价值的知识的过程。
有几层含义:
1)数据源必须是真实的、大量的、含噪声的;
2)发现的是用户感兴趣的知识;
3)发现的知识是可接受的、可理解的、可运用的;
4)发现的知识是相对的、有特定前提和约束条件的、面向特定领域的,并不要求放之四海而皆准,并且最好能用自然语言表达。
此定义包含三方面的内容,即数据、信息和知识、过程。
(1)数据是指有关事实的集合,它记录了事物有关方面的原始信息,是进一步挖掘知识的原材料。由于数据挖掘处理的数据是现实世界的客观反映,因而并不能保证所有数据都非常规范,一般需要对数据进行预处理,使之适合知识提取。
(2)信息和知识是指通过数据挖掘从当前数据中发现的信息和知识,它们源于数据,又高于数据。发现新的知识或者对已有的知识进行拓展,得到更全面、更具有实际意义的知识往往更加重要。
(3)过程是指数据挖掘是一个多步骤的、对大量数据进行分析处理的过程,包括数据的选择、预处理、转换、挖掘、结果的解释和评价等,是一个人机交互、螺旋上升的过程,并且往往需要经过多次反复调整,从而挖掘出质量更高、更有效的知识。
数据挖掘是先有了数据才兴起的行业,是人们长期对数据库技术进行研究和开发的结果。
数据挖掘使数据库技术进入了一个更高级的阶段,它不仅能对过去的数据进行查询和遍历,并且能够找出过去数据之间的潜在关系,对过去既有的数据集合进行统计分析,呈现出隐藏在数据背后的知识信息。
二、数据挖掘的特点
1)规模性;
要从数据中挖掘出规律,数据源的规模必须是海量的。
2)快速性;
在市场和竞争环境瞬息万变的今天,数据变化频繁迅速,甚至有些数据很快过时。这要求数据挖掘能够动态处理数据,快速地做出反应,以提供用于决策的信息和知识。
3)动态性;
数据挖掘是根据历史数据提取规则,发展潜在规则,管理和维护规则,用于指导现在的行为,并预测未来。
4)交互性;
一般用户由于检索知识的局限性,提出的即时随机查询往往不能形成精确的查询要求,需要在查询过程中依靠数据挖掘技术进行实时交互,以便挖掘出更深入、更有价值的知识;
5)适用性;
数据挖掘的目标在于发现知识,而不是要求发现放之四海而皆准的真理,也不是要求去发现新的自然科学定理和数学公式。
数据挖掘发现的规则,是基于大样本的统计规律,因此其知识都是相对的,又特定前提和约束条件的,面向特定领域的。
6)知识性;
数据库仅仅是提供决策所需要的数据,而数据挖掘提供决策所需要的深层次知识。
7)个性化;
数据挖掘可以适应不同用户的需求或不同应用,挖掘多种类型和不同粒度的模式,能提供个性化服务。
8)发掘性。
对于那些实际并没有发生或者很少发生的行为,或者所隐藏的有用规则和规律,并没有在数据库中直接体现出来。数据挖掘能够发掘并提取这些有用规则和规律,并提出预测。 

目录
相关文章
|
8月前
|
存储
【计算机科学导论】第一章 绪论
【计算机科学导论】第一章 绪论
|
8月前
|
算法 测试技术 数据库
[软件工程导论(第六版)]第7章 实现(复习笔记)
[软件工程导论(第六版)]第7章 实现(复习笔记)
|
11月前
|
存储 SQL 算法
|
12月前
【计算机科学速成课】笔记总结
第 1 集:计算机早期历史 提到的设备:算盘 → 步进计算器 → 差分机 → 分析机 → 打孔卡片制表机 提到的人名:Charles Babbage, Ada Lovelace
74 0
|
算法 测试技术 应用服务中间件
软件工程导论
软件工程导论
222 1
软件工程导论
《电路分析导论(原书第12版)》一导读
本书第1版于40年前出版,至今已翻译成6种语言,发行超过了100万册。所以,我很高兴为该教材的第12版再写前言,并首先对本教材出版过程的所有参与者,以及那些认为本教材满足了学科需求的全体使用者致以诚挚的谢意。 新版内容的变化
5000 0
《计算机科学导论》一1.9 练习
本节书摘来华章计算机《计算机科学导论》一书中的第1章 ,第1.9节,[美]贝赫鲁兹A. 佛罗赞(Behrouz A. Forouzan)著 刘艺刘哲雨等译, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3170 0

热门文章

最新文章