开发者学堂课程【高校精品课-北京理工大学-大数据技术导论：大数据分析挑战】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/857/detail/15617
大数据分析挑战
内容介绍：
一、大数据自大
二、算法演化
三、看不见的动机
一、大数据自大
在前面讲了大数据思维，然后以及谷歌流感预测的这个案例。但在这个案例里面，我们也发现有些问题。这些问题会导致我们预测不准，我们关联的不够合理，不够正确，那为什么？
只要我们有下面几个原因，第一个原因叫大数据自大。
就认为自己拥有数据是总体。大数据的这个分析者，他认为他所拥有的这个数据是全部的数据。但往往不是这样的，比如我们看这个谷歌的例子，用户的搜索的关键词，它实际上只是我们流感预测数据中的一个部分。
他把他和我们疾控中心的数据来比，疾控中心的数据通过不断的去报告上来的，因为他的数据更准更全面，所以就会导致我谷歌的关键词搜索，他预测的结果后边会出现问题，所以我们在今后在使用过程中，要把大数据和小数据结合起来用。把它们相互之间的优势给用起来，那我们就会得到更好的一个结果，所以我们在后面分析的时候，千万不能太依赖于大数据，因为大数据有他的弱点，一定要把大数据和小数据结合起来用，这是我们第一个问题，就是大数据自大的问题。
二、算法演化
第二个问题就是我们算法的演化的这个问题。因为大数据它不再是简简单单的我们个人意识的这种记录，它是随着我们系统的变化，算法的变化而变化的。就像我们刚才谷歌的例子里面呢。那不过他的推荐算法会变，因为他服务于搜索的准确率，同时要服务于广告的收入，因为公司要生存。那为了这两个目标，他要不断地改它的算法，它的算法的改进会带来相关关键词的出现。那些关键词就会影响使用者的这种决策，比我输入一个流感，他会给我弹出很多流感相关的这些关键词，那我点了其中一个单词，这个单词不一定是我本意，那这种算法演化带来的，用户不是本意的，这个搜索就会影响我数据的产生，那如果数据产生就会影响我的数据分析的结果，最终影响到我的决策。这是第二个挑战，就本身的话，会影响到我数据产生，以及我后面的分析和决策。
三、看不见的动机
第三个方面是看不见的动机，那这也是我们面临的挑战，数据的使用者和数据生成机构都是无意识的，生产数据往往忽略了趋利避害的这种动机。但这种趋利避害的这种动机就会对我们分析结果产生影响。那这个数据呢就发布者就根据自己的利益会生成数据，有选择了就用列数据，但是会带来的一些结果。那我们那些有商品的这种促销的这些公司，他也会有选择地生成数据，然后去分析数据，也会导致这个分析的结果和我们想的不一样。所以这种趋利避害的动机会影响我们数据生成和报告的这种可行性。
我们在做数据分析过程中，一定要结合我们的实际的情况，去了解我们数据生成机构它的一个背后的动机是什么，然后把一些脏数据给剔除掉，那只有这样的话，我们才能够得出更客观的这些数据分析结果。以上从三个方面来分析了大数据分析所面临的挑战。
那核心的原则是什么？一定要得到用户出于本心的数据，那这些数据是真正有价值的，那如果你的数据被改了，被利用了，那你得到的有价值的信息就大打折扣了，甚至说，没有任何价值了。
所以我们在做大数据分析过程中，一定要把出于用户本心的这个数据给抓出来，然后利用他去预测我未来有哪些价值？这些是我们真正要得到的一个数据。
