阿里巴巴CTO张建锋:大数据+计算+算法才是未来

简介: “不论是人工智能还是其他前沿技术,都离不开高质量的数据、强大的计算平台和高效的算法平台。”阿里巴巴集团CTO张建锋在西雅图表示,“只有这三件事放在一起,才能真正在机器学习和人工智能领域取得突破。”
不论是人工智能还是其他前沿技术,都离不开高质量的数据、强大的计算平台和高效的算法平台。 ”阿里巴巴集团CTO张建锋在西雅图表示,“只有这三件事放在一起,才能真正在机器学习和人工智能领域取得突破。”

8月6号,阿里巴巴在西雅图举办技术论坛,有近400名当地的技术人才参加,除了有架构、中间件、搜索等技术负责人到场介绍干货,阿里CTO张建锋也第一次在美国分享阿里的技术战略。

da6616995a9242612afea32fc2c4594bc86dd1cb
经过4个月的思考,张建锋选择这个场合,首次围绕数据、计算和算法三个核心,系统阐述了阿里的技术布局。

为什么阿里是一家大数据公司

阿里巴巴之所以将自己定位成大数据公司,是因为拥有非常多的高质量数据。 “今天大数据做的最好的,都是平台性的企业,比如Facebook和Google,因为他们有海量的高质量的数据,” 张建锋表示,“与之相比,阿里的数据不但种类丰富,而且含金量特别高。”

阿里的数据有三个明显的特征:首先阿里的数据是用户通过购买行为投票产生的,和搜索等场景相比,更加真实;其次相较于社交等数据,阿里的数据高度结构化,例如淘宝上的商品描述就高达一百多个纬度;第三非常密集而且实时,不管在无线还是PC端,阿里日常都有超过1亿用户在访问。
67ebab125fb78bd6d7623818ab0265b075eb5993
这几点再加上整个阿里生态整合的多场景数据,对大数据的发展,可谓得天独厚。

计算平台需要大规模数据训练

在计算平台的构建方面,得益于大规模数据训练的优势,阿里巴巴做了大量的技术创新。除了围绕开源计算平台Hadoop生态所做的各项工作,如流计算和批处理,阿里还有两个非常高效的自研计算平台:离线计算平台ODPS和实时计算平台Galaxy,不但承载阿里日常的海量计算工作,而且通过阿里云对外提供服务。

在大量的实践中才能发现更多改进方向,所以阿里有机会真正改变计算平台的效率。”张建锋表示。


张建锋还谈到为什么阿里巴巴能够在7年之前就洞察到云计算的未来,“阿里一直做平台化业务,交易平台既然可以共享,计算能力为什么不能?所以我们比大多数公司更早意识到,计算可以变成水电煤一样的公共服务。”张建锋回忆到。

如今阿里云已经成为中国最大云计算平台,提供包括IaaS、PaaS、SaaS在内的完整服务。

高效的算法挖掘更大数据价值

对于算法,张建锋认为, 算法必须和行业场景进行高度的结合 ,在实验室中并不能研究出真正高效的算法,而阿里巴巴最大的优势就是能够提供多样化的、极其丰富的场景。数据、计算平台和算法的结合,是未来非常重要的趋势。

强大的计算平台加上高效算法,能够进一步挖掘数据价值,最大化数据效率,形成正向循环。而云计算则能加速数据融合,例如孤立的看气象数据价值有限,但和农业或商业结合,就会产生巨大化学反应。而传统制造业如果能充分利用大数据,也将有助于大幅提升良品率。

目前阿里正积极推进与交通部门、气象部门、制造业等多个行业的合作,让数据产生更大价值。“我们坚信大数据总有一天会改变所有行业,所以阿里目前在各个领域都有新的探索。”张建锋表示。

阿里未来技术布局

展望未来技术布局时,张建锋重点谈到VR/AR、人工智能和物联网。在他看来,当前的世界变化之大超越了人们的想象,不断涌现各种新技术,但未来究竟是怎样的,所有人都在探索,并无定论。

“从PC到无线,迭代周期非常短,很多公司还没有反应过来,已经进入无线时代,很多企业就没有了。”张建锋谈到大热的VR/AR时以此类比。VR/AR技术代表着从二维空间到三维空间的趋势,让我们对世界的理解更深入。


目前人工智能的技术方向很多,爆发性的出口还没有明确答案,在张建锋看来,最有可能获得成功的,是对消费的趋势、对数据和场景规模化有研究的人,阿里将在这方面投入更多的资源。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
4月前
|
机器学习/深度学习 自然语言处理 算法
大数据选举预测:算票的不只是选票,还有算法
大数据选举预测:算票的不只是选票,还有算法
197 0
|
4月前
|
算法 机器人
基于SOA海鸥优化算法的PID控制器最优控制参数计算matlab仿真
本课题研究基于海鸥优化算法(SOA)优化PID控制器参数的方法,通过MATLAB仿真对比传统PID控制效果。利用SOA算法优化PID的kp、ki、kd参数,以积分绝对误差(IAE)为适应度函数,提升系统响应速度与稳定性。仿真结果表明,SOA优化的PID控制器在阶跃响应和误差控制方面均优于传统方法,具有更快的收敛速度和更强的全局寻优能力,适用于复杂系统的参数整定。
|
5月前
|
数据采集 SQL 搜索推荐
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
OneData是阿里巴巴内部实现数据整合与管理的方法体系与工具,旨在解决指标混乱、数据孤岛等问题。通过规范定义、模型设计与工具平台三层架构,实现数据标准化与高效开发,提升数据质量与应用效率。
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
|
5月前
|
存储 SQL 分布式计算
大数据之路:阿里巴巴大数据实践——元数据与计算管理
本内容系统讲解了大数据体系中的元数据管理与计算优化。元数据部分涵盖技术、业务与管理元数据的分类及平台工具,并介绍血缘捕获、智能推荐与冷热分级等技术创新。元数据应用于数据标签、门户管理与建模分析。计算管理方面,深入探讨资源调度失衡、数据倾斜、小文件及长尾任务等问题,提出HBO与CBO优化策略及任务治理方案,全面提升资源利用率与任务执行效率。
|
3月前
|
算法 搜索推荐 大数据
当“爆款书”遇上大数据:出版业的老路,正在被算法改写
当“爆款书”遇上大数据:出版业的老路,正在被算法改写
207 8
|
5月前
|
算法 搜索推荐 大数据
大数据能不能看透消费者的心?聊聊那些“你以为是偶然,其实是算法的必然”
大数据能不能看透消费者的心?聊聊那些“你以为是偶然,其实是算法的必然”
170 5
|
5月前
|
存储 监控 大数据
大数据之路:阿里巴巴大数据实践——事实表设计
事实表是数据仓库核心,用于记录可度量的业务事件,支持高性能查询与低成本存储。主要包含事务事实表(记录原子事件)、周期快照表(捕获状态)和累积快照表(追踪流程)。设计需遵循粒度统一、事实可加性、一致性等原则,提升扩展性与分析效率。
|
存储 分布式计算 大数据
大数据之路:阿里巴巴大数据实践——大数据领域建模综述
数据建模解决数据冗余、资源浪费、一致性缺失及开发低效等核心问题,通过分层设计提升性能10~100倍,优化存储与计算成本,保障数据质量并提升开发效率。相比关系数据库,数据仓库采用维度建模与列式存储,支持高效分析。阿里巴巴采用Kimball模型与分层架构,实现OLAP场景下的高性能计算与实时离线一体化。
|
4月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
353 14
|
5月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
204 0