数据仓库与数据挖掘（2）｜学习笔记（二）

开发者学堂课程【高校精品课北京理工大学数据仓库与数据挖掘(下)：数据仓库与数据挖掘（2）】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/1041/detail/15664

可视化分析的时候，它就可以达到哪些目的？一个是洞察数据的空间，第二个提供他的定性的表示和描述，第三个有可以它的模式，趋势结构和它的异常关系，数据当中的都可以找到，而且用可视化的方式和理解的方式展现出来，可以帮助发现有趣的全局的和合适的变量，让你进一步的来做定量的分析，我们知道定量的分析要比定性的分析的话，又前进了一步，所以提供一个可视化的计算机的表达方式的证明。那么在这种情况下的话，

这个环节的话，我们就再进一步向前走，就可以看到可以把可视化和数据挖掘结合起来。首先数据可视化，第二挖掘结果可视化，挖掘过程可视化，交互式可视化，数据挖掘右边就是可视化的结果，数据它的过程，以及交互式的过程。数据可视化可以在一个数据库或者数据仓库当中给他来展示出来，数据立方体其实也就是数据仓库的一种可视化的形式，在不同的角度，不同的维度，不同的方式来进行抽象，数据就可以在各种方式来进行表达，而这种表达要比单纯的去看数据，看文字要好得多。

那么在这种情况下，看数据的抽取过程。这个数据从哪里来，到哪里去，然后他是干什么的，就一目了然，而这里面的话，它的方法，它的位置，它的技术路线和技术途径的话，都可以人所共识的，人容易接受的可视化的方式来展现出来。

下面这个图的话，就把这个过程给提示出来了。那么在做的过程当中，还有一个问题就是如果是这些东西讲得这么好，方法也很好，也能做，也知道，但是他需要一种工具，也就是说要落脚到平台上，也叫可交互式的可视化数据挖掘，必须要和计算机系统结合起来，软硬件结合一体化，这样达到的效果才更好。

那么还有除了可视化的数据挖掘，还有一个叫 audio data mining 就是声音音频视频，这是个流数据，他的问题需要研究的就更多了，他要把前面的方法几乎都可以运用上，需要什么方法用什么方法，比方说可视化数据挖掘音频，如果你看生活格式化的话，看他这个曲线，但是如果把它化成一个可视化的图，那就不一样了，所以这些可视化的方法必须连起来，

还有就再讲个简单的就是可控空间数据挖掘，刚才也讲到他是个目标或者是叫位置相关的，通过抽取数据存到数据库里，数据库多了，传统数据仓库，数据仓库当中和数据库中，然后找到我们的模式，经过清洗，然后找到我们的模式，我们的模式在检验，检验之后，它符合要求，

然后就到了最后最上面的那个知识。所以知识他是从来自数据有服务与数据的利用。那么在数据有那么多，它应用范围太广了，那可以用到网页分析，然后和叫分析和推荐，我买东西的时候，刚才讲的，你讲一下它下面给你推荐过来，生物数据，生物和医疗，再就是软件工程，我们都在担心一件事情，未来是不是机器控制人类，其中机器上控制人类，他就是分析人的行为，我们控制机器就是给机器提供电源？

这种情况下，他写数据挖掘的应用场景，或者是应用领域，它只会越来越大。那么它的应用领域应该是涉及到我们学习工作生活的方方面面，随着我们的技术的进步，这种应用的话，它的范围和力度，它的深度和广度都会增大。

举个简单的例子，就是发搜data analysis就是金融，我们都知道金融的一个数据也是很庞大的，我们身边的银行，如果有同学或者是朋友去炒炒股票还有股市，还有要买保险，保险也是金融的一部分，所以它的借代理的分析，这里面的东西可以直接给你带来财富，如果分析好了，那么你去买股票的时候，你就可以直接发财了 ，那么在这种情况下，我们来看它里面有几个东西，一个是分类聚类，因为它的目标市场的用户的分类和聚类，比方说哪些服务用户良好，如果你的贷款和还款记录，你的信用卡都及时还款，他就给你推荐信用卡，推荐理财产品，让你还给你升级，如果你达到情况，你的身份给你升级了。

再就是异常，就是在做金融数据挖掘的时候，他们就发现这样一件事情。如果是一个人有多个电话号码，就只有一个电话号码的信用要好一些，后来他找了这几个接待户，还真的证实了这样一个挖掘，这样一个挖掘得到的知识。

所以这种数据再进一步让你发财，还有一个是零售和电话工业，在网上购物，它其实是零售的小店，比方说一个卖饮食的，他下班的时候选择卖饮食的，下班的时候如果是排队的很多，有监控摄像头的分析，一个排列很多，他就卖那种简单的，然后快速的这个数字品，如果人少的时候他就卖那种研磨时光的咖啡，然后让你慢慢的排，总是有一堆人排，大家都知道我们去买东西都有从众效应，所以也有这种情况，其次就是我们的通话记录，我们常常给谁打电话，我们什么时间交费交的比较及时，什么时候不及时，还有现在我思考之后，画出图纸来，我丢到云上去，云上传完之后丢到工厂，给我们导出来的叫工业。

那么从这种造型当中，我们就可以提高设计生产的水平，常常给我们带来实实在在的效益。

我们讲通过要满足不断增长的人民对物质生活的美好需要，那么数据挖掘可以在里面发挥一个很重要的作用。在科学与工程上，数据挖掘就更重要了，数据仓库和数据处理，可以把数据不一致性的、不完备性的数据进行清理，然后把复杂的数据类型进行挖掘。刚才我们讲了一些复杂的数据类型，还有一个机器图和网络的数据挖掘就更复杂。

那么我们所以有了这样一种提法，叫超图，那么这种图形就超出了原有的节点和边的那个概念。那么格式化和对于一个具体领域的知识发现显得更为重要，那么当然我们在讲的这是一个主要的，还有其他的一些方法，大家可以看到，比方说你可以在计算机科学当中来监视坚持系统，你得找bug，你写出软件来了，调试的时候，如果出了问题，可以通过数据挖掘的方法，然后在程序当中挖程序，然后程序挖出来的知识来帮助你来调调程序，尽快的通过.

那么在这种情况下，还有一个就是检测，或者是这是安全领域，那么保护攻击检测和防护，这个是因为我们都在网上，那么有人给你攻击，这是给我们不想看到这件事情，你的账户也不想让别人攻击。可以通过基于签名啊，基于异常检测的方法来防护，更重要的话，根据他的反馈来增强你的所谓的魔高一尺，道高一丈，也就是这个道理，也体现在我们数据挖掘中。

那么怎样的数据挖掘能够帮助，可视化查询、分布式的数据挖掘、分析留数据，还有一些关联相关的异常那个差异，以及聚类分类，在这里用你的攻击的探测和防护，把这些方法用起来，可以看到前面我们讲的方法，未来要用到的在一个具体的场景当中，比方说攻击减探测和防护都可以用到，所以一个问题来了，不是一个数据挖掘的方法就能解决的，或者是说一个数据挖掘的方法不能够是万金油什么都可以解决，他应该有个具体的场景而解决一个问题，也不局限于一个具体的数据挖掘方法，常常是一方有难，八方支援，

那么数据挖掘和推荐系统真是有点儿不解之缘，然后我刚才讲了，你买东西，你点了之后，他就后面就相似的就给你了，这其实就是推荐系统，也是这个推荐系统从数据挖掘给她送的，然后你点，你在一个地方，甚至于你的鼠标在上面停留的时间长和停留的时间短，他都给你识别出来。还有你可能你的鼠标用的是右键，用的是左键，他也可以给你识别生物姿态，那么这种挖掘也可以体现你的特征，比方说你这个角撇子，他可以就体现出来，他给你推荐的产品可能就是左撇子产品。所以这种方法基于内容的，基于行为的，基于方法的机模型等等，都是根据具体的情况来用的，未来的发展他也不可能离开场景。

那么在推荐的时候的话，我们刚才已经讲了，就是在讲到一点它有记忆，所以我们家讲到说我们的外卖小哥在路上走的时候，叫算法控制的大数据杀熟，杀熟的背后就是数据分析与挖掘，算法是死的，它必须要在具体的数据当中找出来东西才能够执行，而且推到前端。

那么多个学科的使用就显得更重要了，所以要很多很多的数据，海量的数据，巨量的数据等等各种方法都出来。还有一个高维的数据，那么这也是我们要必须要考虑这件事情，比方说对一个人画像，对一件事情画像，它可能有多个属性，而在多个属性必须要都给他出来，那是最好的，但是他们可以急剧降维，从以10万降到100为维，到10维，而且它的数据的知识又不便再次数据挖掘要解决一个难题。

那么还有一个高复杂度的，我们复杂度讲太多的地方就不展开了，那么新的复杂的应用，这个场景可能未来只有我们想不到，但是可能有更多新的领域出来，但是外面不离，其中都有一个道理，那么这个道理就是数据挖掘的方法，那么它的场景变了，只是它的应用领域换了。那方法的话，它可以随着变化的，

我们看看再回到我们的数据成熟度和方法的成熟度的话，它是实际上是一直向前走的，那么这个图是回应刚才讲的那个，就是第一步分析报告我是什么，第二个为什么这样，第三个怎么做，第四个是未来是未来会出现什么，最高的是我想未来发生什么？

那么这是我们想做的一件事情。所以大家看这个饼图，一个比一个大，而且细分的，也就是代表方法划分得更细了，要专业人干专业的事，专业的方法解决专业的问题，专业的数据挖掘支持专业的场景。