阿里车品觉:大数据时代的若干新思考

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

大数据究竟是什么?大数据未来将走向何妨?美好的大数据理想与现实之间还有多少距离?目前实践了些什么?遇到哪些困难?这些问题值得我们去思考。为此,阿里巴巴数据委员会联合阿里研究院《阿里商业评论》举办了一场大数据思想沙龙。邀请多位在商业世界数据第一线的实战领军人物,就以上问题展开深入的探讨。


车品觉,《决战大数据》作者、阿里巴巴集团副总裁、数据委员会会长。


不同状态的企业,对于数据的关注点不同

我们要非常注意企业所处的状态,包括企业状态和数据状态。一个企业处在不同的状态之下,对于数据的关注点是不同的。例如,目前的阿里巴巴,业务量大,数据多而杂,所以我特别希望从数据里产生出它的价值。而对于数据比较小一点的公司,由于还没有这么多数据,所以短期内不用担心这个问题。


我过去两个月不断的面试了很多人,往往我第一个问题就问他们什么是大数据?基本上,每个人的看法都不一样,而且很多人都来自很大的公司,但是也没有得出结论。目前,很多公司的BI好像还没到大数据的阶段,而只是找到应用数据的一个方法而已。


所以,当已经有海量数据,在这个海量数据中心里面寻找一些有价值的东西出来,这可能是大数据。记得马总曾说过:凡是已知某种关系,运用这个关系数据计算一个东西出来,或者找出一个规律出来,这不是大数据;凡是不知道某种关系,但是刚刚找到这种关系,并且运用这种关系能产生出额外价值的时候,这就是大数据。而如果这种大数据已经找到了,它逐渐也就不是大数据了,你要再寻找跨界的其他的数据出来。当能让这个数据产生新的价值的时候,就又找到了大数据。


当数据广度足够,问题更加简单

过去,很多机构数据不够广度,所以要用很复杂的算法才能得出想要的结论。今天,如果数据广度足够,很多时候就根本没有必要复杂计算了。例如,以前有人通过复杂的达人模型算法得出某用户是牛仔裤达人,但如果能够拿到他的微博数据,那么其实很容易就可以得出该结论的。


所以,以前的数据挖掘跟今天的数据挖掘将有很大差别的。也就是说,当一家公司的使命是将来想做一个大数据公司的话,可能要准备一些一手数据。当然,公司的收购策略,或者数据战略,不是一般的产品人能去影响的。但是,当数据的材料可以影响到没有这么复杂的算法还能实现业务,你就可以这样去做。


未来,BI部门像无人看管的汽车

前一段,我们将阿里巴巴的BI 部门改名为数据技术与产品部。整个部门不叫BI部门了,但仍有一个BI二级部门存在。未来,我想象中的BI部门可能会走向这个方向:它像一个无人看管的汽车,没有具体的小二负责,但可以走出正确的道路。当然,这不是在所有场景都能够实现,而是要先选择一些好的场景来实现。在这个场景中,数据、模型能像汽车一样自己走出来。


目前,淘宝BI数据已经尝试走向这条路了,未来怎么样可以做到像没有驾驶员的汽车一样自己找到出路,仍需要不断实践。


大数据在很多方面仍面临考验

很多公司高管会问:你拿着大数据,你能不能从数据里面进行拔高,把数据抽出来,真正找出问题?能不能从数据中直接告诉我今天到底发生了什么问题?能不能比我具有丰富经验的小二厉害?否则,老是讲数据很厉害,我感受不到。这其实代表了业务方的期望。其实,现阶段,很多事情大数据还是做不到,在很多地方还是不能经得起考验,所以,在很多人心目中,大数据可能还没到那回事。我们需要正视。


数据要“用”,还要“养”

从“用”和“养”的观点来讲,目前很多公司已经走在“养”的路上。例如,我们说高德是一家数据公司,因为它非常注重数据的“养”。


大数据转型革新时期,BI分析师更容易适应转型

凡是BI人员,肯定是很精通数据业务的。所以当做数据挖掘或很多其他数据工作的时候,他肯定会比其他人做的更好。当一个公司转型做数据业务时,分析师是一个非常容易转型成成功的business man的。例如,以往BI人员很怕临时需求,但是我发现一线分析师经过了这些锻炼,已经成为全能型人才:他能够从底层数据提取,到中间层数据挖掘,一直到最终解决问题全部完成。目前有一些人觉得分析师是不是已经落后了?其实,分析师成为公司未来商业应用最好的补充。


仅仅懂得做分析师不够,要做数据中间人

现在是转型中一个非常重要的点,因此仅仅懂得做分析师是不够的,我们业内最需要的是数据中间人。数据中间人就是可以“见人说人话,见鬼说鬼话”的人,可以在中间翻译,两边都可以翻译出来的人。


他要知道数据架构到底要解决什么问题。他要告诉产品经理,我们需要什么样的自动化产品帮到我们业务方,我们需要什么样的模型。所以,他其实是一个很高级的商业架构师,并不是一个很高级的技术架构师。


所有数据产品都会遇到的问题:到底通用产品要多通用,具体产品要多具体?


当通用性的产品到一个具体场景的时候没有办法满足那一个具体的场景,所以这个就不仅仅是数据产品会出现的问题,而是所有做产品的人都会面临的一个问题。例如淘宝,到现在已经开始提供全方位的服务了,所以不管是数据产品还是数据服务,就要想想,哪一些东西要做成产品,哪一些要做半产品就可以了。这时候,问题是什么样的半产品能被大家所用?所以,今年我们的部门里,也会有两三个人专注于分享数据、方法、工具出去,有一点像布道师。


找到你的“白米饭”

我刚进支付宝的时候,当时分析师都走光了,那个时候发现所有东西要重新开始。第一想到是“白米饭”(注:不可或缺的工作)。“白米饭”不能解决,其他部门都会说你们在搞什么?所以开始从“白米饭”开始一级一级的建立自己BI。我觉得BI团队的建立有一条时间线,我们淘宝是先“用”,从“用”再开展到“更多的用”,几个阶段的作用是很不一样的。所以,每家公司的数据部门都要思考:什么是你的白米饭?


同时,不管哪一个数据公司,有一些是数据分析师必须要做的事。例如:BI的总监和领导人一定要在管理层一起开会。可以不说话,但是一定要进去了解公司管理的理念和思路。否则这个BI部门就废掉了,这是我自己感受最深的一点。


做数据产品的原则

阿里巴巴做数据产品有以下一些原则:

首先,这是一个单纯的商业行为;第二,它不影响到用户的隐私;第三,它不能影响到其他的用户。(因此,如果该产品能够帮到一家,但对另外商户影响大了,就不能做。要保证在互惠互利的前提之下再看方案怎么样。)


此外,还有一个要求:当数据产生交叉的时候,数据必须要放在我们这里。最近,阿里与很多创新性公司展开了合作,例如一些保险公司很快将数据放进来进行实验。它可以先不全量放进来,而是放一些数据进来,看数据交叉之后能不能产生效果,如果效果很好,再考虑下一步。采取小步快跑的商业思路。



原文发布时间为:2014-06-26

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
前端开发 架构师 算法
技术一号位的方法论《个人篇》——人成长的本质以及如何构建个人成长路线图
不论你是职场新人还是35岁的职场“老人”,成长是每个职场人都绕不开的话题,同时也是贯穿每个人职业生涯的痛点。本文主要帮助读者建立起对个人成长的认知,然后在此认知的基础上让大家理解成长的本质,最终通过文章的引导,来帮助读者完成个人成长路线图的确定以及落地实践。
13507 3
技术一号位的方法论《个人篇》——人成长的本质以及如何构建个人成长路线图
|
边缘计算 监控 安全
怎么跟外行说明白“什么是数字化”
怎么跟外行说明白“什么是数字化”
|
人工智能 大数据
大咖 | 车品觉:我们为什么要认识数据的本质
时下仿佛大家都在谈人工智能,就像当年人人都在谈大数据一样。在不同场合上,阿里巴巴的马云、百度的李彦宏及腾讯的马化腾分别谈过自己对人工智能的看法和观点。这种对话有点儿像金庸小说中的华山论剑。到底是气宗( 大数据)还是剑宗(人工智能)更有战略意义?我认为,两者是相辅相成的。
1637 0
|
机器人 供应链 人工智能
擎朗李通:跨过服务机器人应用之殇,产业链是深坑 |【 远望实战派】
伴随海底捞智慧餐厅的亮相,最近擎朗机器人热刷了很多人的朋友圈。到底服务机器人是一个店家用来营销的噱头,还是真已到了替代人工的应用临界,我们这一期与擎朗机器人创始人李通聊聊服务机器人如何才能跨过应用之殇。
487 0
|
机器学习/深度学习 算法 Java
Android开发十年,到中年危机就只剩下这套移动架构体系了!
蓦然回首自己做开发已经十年了,这十年中我获得了很多,技术能力、培训、出国、大公司的经历,还有很多很好的朋友。但再仔细一想,这十年中我至少浪费了五年时间,这五年可以足够让自己成长为一个优秀的程序员,可惜我错过了,我用这五年时间和很多程序员一样在困惑和迷茫中找不到出路! 路其实一直都在那里,只是我们看不到而已! 以前我一直被公司和技术牵着走,并不是自己在选择技术,而是不自觉地被推到了这个位置上。
|
存储 数据中心 安全
|
存储 消息中间件 分布式计算
下一篇
oss创建bucket