开发者社区> 澄子> 正文

大数据思维——从掷骰子到纸牌屋

简介: 大数据分析的根本是小数据汇集,有数据分析总比无数据分析好些。
+关注继续查看
云栖社区有个书评活动,昨天以短信推送到了我的手机,想了想正好赶上年底我想整理一下我的思绪,就搭车发在云栖吧,也算是我第一篇在云栖的原创帖了,呵呵。

虽说做技术多数时间是针对问题找寻解决方法,但我经常觉得做技术也需要一些思考。

讲个段子,说的是一个技术很熟练几乎任何问题都能解决的人去应聘,HR看了他简历上10年经验很满意,就问他你对未来的发展怎么看?他说,我10年只专注做好我的本分,没时间去关心其他。HR摇摇头说:你不是有10年经验,而是一个经验重复了10年

段子只是段子。

一来说自己精通到专注领域内任何问题都能搞定的未必为真,C和C++语言基本是程序相关专业的必修课,即便如此连专门研究的教授也不敢放话说有问题我都能搞定,即使搞C++的开发人员案头上还常备一本600多页的C++宝典查呢(这和日语翻译案头放广辞苑,英文翻译案头摆牛津朗文差不多,属于工具书)

二来技术的发展很快,比如Red Hat红帽认证在linux下出名吧?但是国内现状是使用云服务器的企业越来越多,抱一台服务器来自己装系统自己部署环境,现在很多小公司已经不这么做了,但你花了N年去考证的时间成本岂不白费?再如oracle认证,Cisco认证.....这些含金量确实高(报名费也不菲),然而学成领证后,找工作呢?你拿着oracle认证求职一家数据库公司发现人家的要求是mysql你做不做?计算机领域的认证很多,考的话怕是考不完。

如今你不要指望单精通一门技术吃遍天,技术日新月异,CSDN上对新语言的讨论可谓热火朝天,我想单一的大牛也不敢夸口自己掌握了从编程到数据库的各种语言。这便是团队的重要性---优势互补,而要从团队里发出自己的声音,你需要的是一种思维。

就像现在网站比较火的自适应。自适应需要特别的工具吗?不,用普通的dreamweaver就够了,dreamweaver可以写CSS,写JS,写ASP,写.net,写php.....是一个比较综合的平台,缺点就是有点大,如果只是写网页的话,用Notepad++都行(Notepad++安装包解压后不到7M)。自适应和非自适应的最大不同在于h5语法标签上,如果只是纯静态简单的html网页的话把预设数值改成比例就是简单的自适应。但是,如果是基本网页编写不熟就要直接写h5网页的话,有点难度。学技术,从0到1最难。

回归书评,就说说大数据吧。

试阅是50页的PDF,开篇说的淘宝的千人千面(首页内容根据用户喜好推送)就是基于每个用户的小数据实现的。大数据的基础是汇集小数据,如果你注册淘宝后什么信息都不填,那么你任何时候访问淘宝都不会有变化---没有数据,就没有分析;没有分析,就没有推送。

感觉大数据分析就像以前的数据挖掘,收录的数据越多挖掘的信息越宝贵。而且要分析精确的话至少要分析近期数据----像试读13页开始提的那些搞笑案列,倒是整理了历年的大数据,但是运用过去的数据作分析至多能做预测,说是大数据分析我个人觉得不妥?

好在16页开始讲到正经点了,分析曲线。样本足够大时可以用数学方法作图模拟出曲线(样本越多曲线越靠谱,试阅中说的拿2年的数据预测50年太模糊了),坐标曲线可以分析化归出一个方程,方程运算可以预测曲线走向。高数科研所经常有搞这次分析的。嫌手工计算太难的话,matlab分析(matlab就比较大了,当时下安装包光盘都用了3张)

41页的积分公式传达了一个信息:大数据分析更高层就像数学。任何看着靠谱的分析,都是数据分析的结果,否则看着就不靠谱更谈不上大数据了。爱因斯坦的相对论虽然是物理,但看过的人都对里面密密麻麻的微积分颇有感受吧?读不下很多时候第一道坎是对里面的积分看着头疼吧,何况一来大学高数教授的微积分以定积分为主(求的是具体数值),而相对论更多是不定积分(求的是函数),二来微积分有多种,大学考察的是黎曼积分,而微积分还有勒贝格积分,究竟爱因斯坦推导用哪种积分不可考。(就像几何,欧氏几何经典的平行线不可相交而在非欧几何里平行线可以交,好在非欧几何不是专业学者接触不深。这也可以解释为什么好多大学本科生毕业找到好公司后公司要专门培训吧)

如果把小数据的变化看作微分,很多小数据的波动就可以汇成积分,然后做大量的数学推导变换,就可以抽象出函数表达式来分析下一步。

当然,预测未来这种事很难精转化,就算理论物理计算出来的数值还需要通过实验物理验证呢,这也是物理学家分理论和实验的原因之一。

不过再怎么说,大数据分析总比无数据分析好些。我凭空说明天的温度多少,你信吗?

谨以此文祝各位圣诞快乐

PS:试阅版PDF我也在这篇博客里备个份以后要看时方便自己整理,以防自己一段时间后回头看时不明白自己看过的是哪本了.....

PS2:如果抽奖失败,那么就去tmall网购实体书
不过因为我在云南,选卖家时就倾向西部,比如四川的卖家。(其实你说为什么在JD购物快?因为JD是分物流中心的,举个例子,你在JD自营店买了个东西,而收货的地址在云南,首先分析出属于西部,然后JD通过查询数据库发现自己位于四川的西部中心有这个东西,那么就是从四川发出而不需要从生产地发,通过归纳收货地址分析最短距离缩短了物流时间,这也是一种大数据分析。当然这仅限于JD自营店,如果是卖家发货的话,就只能买家选择近的卖家了,因为一般卖家很难全国分区域建物流中心的,这也算是JD自建物流体系中的一点小脑筋吧)

PS3:书评获得了奖励
5de445eac5a2a20b78ed2f9d44a2615b8a982ff7
这就代表书评活动结束了?那样的话一个ID就可以尽情看了吧

回看了下(发现点蓝色标题就可以下PDF了)

有时间细细学习,我觉得做一件事,首先要明确做什么,然后再想怎么去做可能更快点。

现在都讲天下武功唯快不破,结果有的就连想做什么都来不及想就去做,后来失败碰壁,对互联网失去了信心。不信的话问问身边敲代码的你在做什么,大部分的回答是:工作挣钱。

诚然,人活着一定要吃饭,但人活着的追求不止吃饭。(物质与精神的辩证关系,政治教材上讲得够多了)

未来搞网站的重心在朝向移动化发展,微官网,手机端,app,html5,自适应,都可以看做是新的发展。而这些新趋势的根,都在比较古老的网页编程上。

提斧头的伐木工未必比不过持电锯的伐木工。比起外在,内核可能更实在些,是金子总能发光,是烂泥终扶不上墙----在被发掘之前要让自己有相应的价值,否则就别感叹怀才不遇了,你究竟是人才还是废材,需要先认清自己。

PS:2017年3月6日收到了奖品,等待了90天的申通....马上开始品读1.gif
f86aeca2e5d1b572c36eafb9b2e691e23f15005c

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
肝!Spring JDBC持久化层框架“全家桶”教程!
肝!Spring JDBC持久化层框架“全家桶”教程!
4 0
ECS的初体验
阿里云,阿里巴巴集团旗下云计算品牌,作为全球卓越的云计算技术和服务提供商,不仅为许多企业提供了便利,还专门为学生高校准备了飞天加速计划,让更多学生能解除云、了解云、运用云。推出的学生机适合广大在校大学生、高中生甚至初中生进行学习,只需几步,就能在家轻松搭建一个属于自己的网站,简直是广大TI热爱者的福利
4 0
MongoDB常见操作及集群搭建
本文阅读大概需要13分钟。
6 0
【Json与Ajax交互报错解决】No converter found for return value of type: class com.github.pagehelper.PageInfo
【Json与Ajax交互报错解决】No converter found for return value of type: class com.github.pagehelper.PageInfo
5 0
从零开始学设计模式(十一):组合模式(Composite Pattern):
组合模式(Composite Pattern)又叫做部分-整体模式,它在树型结构(可以想象一下数据结构中的树)的问题中,模糊了简单元素和复杂元素的概念,客户端程序可以像处理简单元素一样来处理复杂元素,而使得客户端程序与复杂元素的内部结构进行解藕。
4 0
高校学生参加飞天加速计划
linux与服阿里云服务器ECS, 阿里云服务器为提供了强大云计算能力。并且平台有很多开发者的使用教程,让我们新手也能很快上手去开发一些网站,希望更多的学生能够加入到阿里云,学习+实战让自己变得更强。
4 0
JNI编程怎么跟踪调试dll?
本文主要讲解一下在jni开发中,如何调试C/C++编写的DLL模块。
5 0
API接口性能优化总结
在web开发过程中,经常会遇到接口RT高的情况,除了通过监控事后优化的方式,我们还需要掌握一些常用的手段,避免写出慢的接口。从前端发起调用到后端一般经过网关层、应用层、存储层。每一层都可以优化,本篇文章主要是应用层优化。
7 0
万字速通单例模式
谈起单例模式,想必大家都不陌生,不仅在各种大厂的面试中频频出现,在实际的开发中,也应用广泛,如何设计一个优雅的单例模式,成为了重头戏。
1 0
从零开始学设计模式(十三):访问者模式(Visitor Pattern)
前面的几篇文章分别介绍了创建型设计模式和结构型设计模式,接下来的几篇文章将介绍行为型设计模式
1 0
+关注
6
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载