阿里巴巴CTO张建锋:大数据+计算+算法才是未来

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: “不论是人工智能还是其他前沿技术,都离不开高质量的数据、强大的计算平台和高效的算法平台。”阿里巴巴集团CTO张建锋在西雅图表示,“只有这三件事放在一起,才能真正在机器学习和人工智能领域取得突破。”
不论是人工智能还是其他前沿技术,都离不开高质量的数据、强大的计算平台和高效的算法平台。 ”阿里巴巴集团CTO张建锋在西雅图表示,“只有这三件事放在一起,才能真正在机器学习和人工智能领域取得突破。”

8月6号,阿里巴巴在西雅图举办技术论坛,有近400名当地的技术人才参加,除了有架构、中间件、搜索等技术负责人到场介绍干货,阿里CTO张建锋也第一次在美国分享阿里的技术战略。

da6616995a9242612afea32fc2c4594bc86dd1cb
经过4个月的思考,张建锋选择这个场合,首次围绕数据、计算和算法三个核心,系统阐述了阿里的技术布局。

为什么阿里是一家大数据公司

阿里巴巴之所以将自己定位成大数据公司,是因为拥有非常多的高质量数据。 “今天大数据做的最好的,都是平台性的企业,比如Facebook和Google,因为他们有海量的高质量的数据,” 张建锋表示,“与之相比,阿里的数据不但种类丰富,而且含金量特别高。”

阿里的数据有三个明显的特征:首先阿里的数据是用户通过购买行为投票产生的,和搜索等场景相比,更加真实;其次相较于社交等数据,阿里的数据高度结构化,例如淘宝上的商品描述就高达一百多个纬度;第三非常密集而且实时,不管在无线还是PC端,阿里日常都有超过1亿用户在访问。
67ebab125fb78bd6d7623818ab0265b075eb5993
这几点再加上整个阿里生态整合的多场景数据,对大数据的发展,可谓得天独厚。

计算平台需要大规模数据训练

在计算平台的构建方面,得益于大规模数据训练的优势,阿里巴巴做了大量的技术创新。除了围绕开源计算平台Hadoop生态所做的各项工作,如流计算和批处理,阿里还有两个非常高效的自研计算平台:离线计算平台ODPS和实时计算平台Galaxy,不但承载阿里日常的海量计算工作,而且通过阿里云对外提供服务。

在大量的实践中才能发现更多改进方向,所以阿里有机会真正改变计算平台的效率。”张建锋表示。


张建锋还谈到为什么阿里巴巴能够在7年之前就洞察到云计算的未来,“阿里一直做平台化业务,交易平台既然可以共享,计算能力为什么不能?所以我们比大多数公司更早意识到,计算可以变成水电煤一样的公共服务。”张建锋回忆到。

如今阿里云已经成为中国最大云计算平台,提供包括IaaS、PaaS、SaaS在内的完整服务。

高效的算法挖掘更大数据价值

对于算法,张建锋认为, 算法必须和行业场景进行高度的结合 ,在实验室中并不能研究出真正高效的算法,而阿里巴巴最大的优势就是能够提供多样化的、极其丰富的场景。数据、计算平台和算法的结合,是未来非常重要的趋势。

强大的计算平台加上高效算法,能够进一步挖掘数据价值,最大化数据效率,形成正向循环。而云计算则能加速数据融合,例如孤立的看气象数据价值有限,但和农业或商业结合,就会产生巨大化学反应。而传统制造业如果能充分利用大数据,也将有助于大幅提升良品率。

目前阿里正积极推进与交通部门、气象部门、制造业等多个行业的合作,让数据产生更大价值。“我们坚信大数据总有一天会改变所有行业,所以阿里目前在各个领域都有新的探索。”张建锋表示。

阿里未来技术布局

展望未来技术布局时,张建锋重点谈到VR/AR、人工智能和物联网。在他看来,当前的世界变化之大超越了人们的想象,不断涌现各种新技术,但未来究竟是怎样的,所有人都在探索,并无定论。

“从PC到无线,迭代周期非常短,很多公司还没有反应过来,已经进入无线时代,很多企业就没有了。”张建锋谈到大热的VR/AR时以此类比。VR/AR技术代表着从二维空间到三维空间的趋势,让我们对世界的理解更深入。


目前人工智能的技术方向很多,爆发性的出口还没有明确答案,在张建锋看来,最有可能获得成功的,是对消费的趋势、对数据和场景规模化有研究的人,阿里将在这方面投入更多的资源。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
101 1
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
51 3
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
63 0
|
22天前
|
缓存 算法 大数据
大数据查询优化算法
【10月更文挑战第26天】
46 1
|
27天前
|
分布式计算 Java MaxCompute
ODPS MR节点跑graph连通分量计算代码报错java heap space如何解决
任务启动命令:jar -resources odps-graph-connect-family-2.0-SNAPSHOT.jar -classpath ./odps-graph-connect-family-2.0-SNAPSHOT.jar ConnectFamily 若是设置参数该如何设置
|
29天前
|
机器学习/深度学习 数据采集 算法
大数据中缺失值处理使用算法处理
【10月更文挑战第21天】
38 3
|
28天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
2月前
|
JSON 算法 数据可视化
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
这篇文章是关于如何通过算法接口返回的目标检测结果来计算性能指标的笔记。它涵盖了任务描述、指标分析(包括TP、FP、FN、TN、精准率和召回率),接口处理,数据集处理,以及如何使用实用工具进行文件操作和数据可视化。文章还提供了一些Python代码示例,用于处理图像文件、转换数据格式以及计算目标检测的性能指标。
68 0
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
15天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
126 7