大数据学习心得

“大数据“，近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右，但对大数据分析却早就有之。早在互联网初期，就有很多公司通过计算机技术对大量的分析处理，比如各个浏览引擎。然而，大数据的真正提出却是源自2008.09.03 《Nature》专刊的一篇论文，紧接着，产业界也不断跟进，麦肯锡于2011.06 发布麦肯锡全球研究院报告，标志着大数据在产业界的真正兴起，随着白宫发布大数据研发法案，政府开始加入大数据的角逐。
目前的移动互联网有一条缺失的链条—智能感知&服务。我们知道，互联网解决的是人与人信息交换的问题，物联网解决的是物与物信息交换的问题。而智能化服务需要人与自然与社会的交叉感知，移动互联网和大数据技术就是它的桥梁。
当然大数据也给我们带来了很多挑战。一、数据共享与数据私有的矛盾。大数据的价值是稀疏的，而大量的数据往往被大公司垄断，因此对于一般人来说，数据的共享变得十分重要，而其中一个解决方法就是建立一个共享的数据中心。二、数据洪流与技术滞后的矛盾。首先是数据存储能力与处理不匹配，对此我们可以采用对数据流进行实时处理、就近原则存储和处理原始数据、购买数据存储和分析服务等方法进行解决。再者，是分析手段与性能需求不匹配，主要原因是因为传统数据仓库不再使用于大数据分析，对于此我们可以采用大规模并发、Map-Reduce分布式计算、NoSQL管理并发存取等方法进行处理。三是社会需求与人才匮乏的矛盾。对此，培养优秀大数据人才已是当务之急。四、开放数据与保护隐私的矛盾。
我认为大数据将是未来的石油，而移动互联网将成为主要上网方式，移动大数据也将蓬勃发展。在此做出几点预测:1移动大数据分析将逐步成为云计算和物联网的研究聚焦点。