【2018杭州云栖】大数据计算专场:带你感知无处不在的超大规模大数据计算

简介: 云栖大会首日,与主论坛一同亮相的大数据计算专场获得了极大关注。阿里巴巴计算平台六位技术专家与衣二三公司CTO,共同引领开发者们直击阿里巴巴超大规模的大数据计算服务,解构数据世界,分享大数据计算前沿科技。整个下午座无虚席,众多来宾站立参与全程。

9月19日-22日杭州云栖小镇,2018超精彩的云计算盛会—云栖大会进行中, 大会共170余场前沿技术、产品及行业峰会, 加速科技普惠, 驱动数字中国!

云栖大会首日,与主论坛一同亮相的大数据计算专场获得了极大关注。阿里巴巴计算平台六位技术专家与衣二三公司CTO,共同引领开发者们直击阿里巴巴超大规模的大数据计算服务,解构数据世界,分享大数据计算前沿科技。整个下午座无虚席,众多来宾站立参与全程。

image

作为阿里巴巴集团旗舰级大数据平台, MaxCompute承载了阿里集团99%的数据存储及95%的计算能力。在2015和2016年的Sort Benchmark中,MaxCompute打破多项世界纪录; 2017年10月,将TPC的benchmark适配到MaxCompute,进行全球首次基于公共云的bigbench大数据基准测试,数据规模被拓展到100TB,性能达到7830QPM,成为首个突破7000分的引擎。 2018年该性能结果被提升超过2倍,达到18176.71QPM,再次用实力证明“中国计算,世界能力。”

MaxCompute不仅是阿里巴巴集团的统一大数据平台,更是数以万计的云上客户的“水电煤”。也许你感觉不到它的存在,但它却是无处不在。

当日下午,阿里巴巴计算平台研究员,阿里巴巴通用计算平台负责人关涛,从计算力、生态化、智能化、图关系四个方面概括介绍了MaxCompute作为新一代大数据计算引擎在过去一年取得的成果以及未来发展的方向。从关涛的介绍中不难看出,MaxCompute提供的不仅是单一的计算引擎,而是具备EB级规模的云原生、高性能、面向企业完整的大数据服务。

image

(图为:阿里巴巴计算平台研究员 阿里巴巴通用计算平台负责人 关涛)


接下来几位分享嘉宾分别从智能化、生态化、计算力、图关系几个方面对MaxCompute产品和技术演进做了深入的解析与分享。

Auto Data Warehouse:让MaxCompute自动驾驶

image

(图为:阿里巴巴计算平台 高级技术专家 张轩丞)


MaxCompute目前在全球有数十个数据中心、数百万的数据表以及每天数百万的作业运行,传统的基于专家经验的数据排布、资源管理以及作业优化等工作已经无法满足需求。MaxCompute通过对历史作业特征的学习,将技术专家对大数据处理的理解赋能机器,让算法和系统帮助用户自动、透明、高效地进行数仓管理和重构优化工作,做到先你所想,更好地理解数据,实现数据智能排布,作业全球调度,做到大数据处理领域的“自动驾驶”。

MaxCompute 联合计算平台解析:Spark 在 MaxCompute 中的应用

image

(图为:阿里巴巴计算平台 技术专家 陈明)


内容中,陈明为现场及线上来宾们首先介绍了MaxCompute为什么要拥抱开源?在开源过程中是如何解决最小化引入开源技术成本及打通数据、适配开源接口等诸多问题。深入解析了Spark on MaxCompute 的实现方式以及联合计算平台如何助力开源引擎安全的运行在 MaxCompute上。

基于MaxCompute构建智能化运营工具

image

(图为:衣二三网络技术有限公司 CTO 程异丁)


衣二三网络技术有限公司CTO程异丁先生出席了本次大数据计算专场的分享,作为亚洲最大的共享时装月租平台,衣二三基于MaxCompute构建起个性化、智能化运营工具,用于用户和商品的运营,完成了精准的商品分析和采购指导,在业务上实现了选衣页推荐点击率提升70%,相关单品推荐点击率提升150%,人均点击数提升110%。

MaxCopmute SQL全新进展

image

(图为:阿里巴巴计算平台 高级技术专家 吴金朋)


在过去的一年中,MaxCompute全面升级2.0版本,在保证迭代中稳定性的前提下,从系统性能,兼容开源生态,语言能力和开发体验等几个方面做了全面的提升。具备了更完备的SQL语法功能,更灵活的SQL扩展能力,更方便的数据接入,更清晰的思维方式以及更强大的开发工具支持。

基于MaxCompute 的大规模科学计算

image

(图为:阿里巴巴计算平台 技术专家 秦续业)


本话题中,分享嘉宾带来了基于MaxCompute 的开源大规模科学计算引擎(兼容 NumPy)的介绍。对Mars的背景、核心以及原理做了详细的介绍。最后公布了Mars后续计划开放源代码,也希望有感兴趣或需求的开发者可以一起加入。

阿里图计算场景、挑战与下一代引擎技术

image

(图为:阿里巴巴计算平台 资深技术专家 钱正平)


钱正平在专场的压轴主题分享中从图计算的角度为大家带来了全新视角的解读。
今天的阿里巴巴拥有多样化的海量数据,有效的数据分析与挖掘不仅可以提高在线服务质量,更是公司的核心竞争力。图模型可以更自然的表达数据间的语义关联。利用这些关联特征,可以增强大数据分析,提供更精准和可靠的信息。钱正平着重介绍图计算在阿里的重要应用场景,包括它们需要的多样化的图操作、算法和对图计算系统提出的新挑战。会后很多客户对图计算产生浓厚兴趣,纷纷表示希望可以尽快实现产品商业化,惠及到更多的企业和开发者。

image


大数据计算服务MaxCompute不仅承办大数据计算专场,MaxCompute通用计算平台负责人,阿里巴巴计算平台研究员关涛还分别在云栖大会主论坛以及云栖大会智能计算峰会进行精彩演讲与直播分享,同时MaxCompute也在数据智能展区和阿里巴巴信息平台展区震撼亮相。

点击了解超大规模的大数据计算服务MaxCompute

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
264 9
|
7月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
361 0
|
5月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1287 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
5月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
455 1
|
8月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
233 2
|
8月前
|
人工智能 分布式计算 大数据
构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践
本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。
1018 2
|
7月前
|
人工智能 分布式计算 大数据
探索 ODPS:大数据时代的得力助手
在大数据蓬勃发展、 AI 技术席卷各行业的当下,阿里云 ODPS 作为大数据平台体系,凭借其强大的功能和广泛的应用,为众多从业者和企业带来了深远的影响。我有幸深入使用 ODPS,从中收获颇丰。
169 0
|
5月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
415 14
|
7月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
259 4
|
6月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
418 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute