【最全合集】一文看尽 2019杭州云栖大会 MaxCompute 技术分享

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文汇集2019杭州云栖大会上MaxCompute的主题分享,内容涵盖MaxCompute技术关键进展及展望,超大规模企业级计算引擎,分布式智能调度执行框架,列式存储引擎,MaxCompute生态,大数据平台的安全风控以及混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践等内容,从底层技术到最佳实践,内容广泛而深入,希望能让读者有所收获。

摘要:本文汇集2019杭州云栖大会上MaxCompute的主题分享,内容涵盖MaxCompute技术关键进展及展望,超大规模企业级计算引擎,分布式智能调度执行框架,列式存储引擎,MaxCompute生态,大数据平台的安全风控以及混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践等内容,从底层技术到最佳实践,内容广泛而深入,希望能让读者有所收获。

-------------------------------------------------以下为主题分享视频及文章整理--------------------------------

阿里巴巴大数据技术关键进展及展望

关涛 阿里云智能计算平台事业部研究员

观看现场视频 >>>
阅读文字版 >>>

简介:2019杭州云栖大会大数据技术专场,由阿里云通用计算平台负责人关涛带来以 “阿里巴巴大数据技术关键进展及展望” 为主题的演讲。本文首先讲解了从阿里巴巴的角度看待大数据领域的客户价值迁移,概览了核心技术的发展点,最后针对如何构建智能化大数据平台的相关工作进行了介绍,从引擎优化到 “自动驾驶”,并列举典型案例。

image.png
image.png

一条SQL在 MaxCompute 分布式系统中的旅程

侯震宇 阿里云智能计算平台事业部深技术专家
Chen Yingda 阿里云智能计算平台事业部高级算法专家
戴谢宁 阿里云智能计算平台事业部资深技术专家

观看现场视频 >>>
阅读文字版 >>>

简介:2019杭州云栖大会大数据技术专场,由阿里云资深技术专家侯震宇、阿里云高级技术专家陈颖达以及阿里云资深技术专家戴谢宁共同以“SQL在 MaxCompute 分布式系统中的旅程 ”为题进行了演讲。本文首先介绍了 MaxCompute 计算平台及其特点、超大规模企业级SQL引擎和其功能。然后讲解了如何构建企业级分布式智能调度执行框架。最后介绍了新一代列式存储引擎AliOrc及优化方式。

image.png
image.png

丰富、连接、待集成—MaxCompute 生态再出发

李睿博 阿里云智能计算平台事业部高级技术专家

观看现场视频 >>>
阅读文字版 >>>

简介:2019杭州云栖大会大数据生态专场,由阿里云高级技术专家李睿博带来以 “丰富、连接、待集成— MaxCompute 生态再出发” 为题的演讲。本文围绕 MaxCompute 生态进行讲述,主要包括 “更好的工具和接口”、“连接云上各种数据”、“开放自定义引擎” 三部分。主要内容包括 MaxCompute 获得了 Tableau 官方支持,更好的搬站工具和命令行工具体验,大数据+AI 在 Python 生态部分的工作进展,以及开放自定义引擎的能力。

image.png
image.png

混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践

张龙 斗鱼大数据高级专家

观看现场视频 >>>
阅读文字版 >>>

简介:2019杭州云栖大会大数据企业级服务专场,由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战,包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。

image.png
image.png
image.png

如何有效降低大数据平台安全风险

李雪峰 阿里云智能计算平台事业部资深技术专家

观看现场视频 >>>
阅读文字版 >>>

简介: 在2019杭州云栖大会大数据企业级服务专场,由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低大数据平台安全风险”为题的演讲。本文首先概括了企业在大数据上云过程中会产生的安全顾虑。接着,在大数据平台中要处理的安全风险中,对数据中心物理安全与网络安全、大数据平台系统安全以及数据应用安全三部分做了详细的介绍。最后,描述了阿里云飞天大数据平台的安全体系。

image.png
image.png




更多MaxCompute技术与产品信息欢迎访问官网 >>>

欢迎加入“MaxCompute开发者社区”,扫码或点击链接均可加入 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
机器学习/深度学习 存储 人工智能
云栖大会推出阿里灵杰,大数据+AI一体化平台 6 大重磅发布
10月20日2021杭州云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清发布大数据+AI一体化平台新品牌“阿里灵杰”,提供从“生产-采集-存储-分析-开发-治理-价值体现”整套云原生技术架构和产品体系,配套智能化运维平台和强大的数据资产安全管控能力。
1609 0
云栖大会推出阿里灵杰,大数据+AI一体化平台 6 大重磅发布
|
存储 人工智能 分布式计算
2021云栖大会 — 大数据&AI 线上参会指南
一年一度的数字科技盛会—— 2021云栖大会将于10月19日-22日在杭州云栖小镇举办。阿里云大数据&AI邀您线上参会,领略数字新篇章。
2021云栖大会 — 大数据&AI 线上参会指南
|
人工智能 大数据 流计算
阿里云,Facebook,英特尔,Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集
本次大数据&AI峰会围绕 “大数据和AI” 主题,深入讨论大数据及AI发展的新形势、新挑战和新机遇。主题演讲内容涉及大数据*AI各个方面,广泛且深入。从阿里巴巴 “AI加持的飞天大数据平台、AI at Facebook、英特尔在数据分析和人工智能技术方面的创新,到广受开发者关注的Flink和Spark,通过数据,算力,算法深入阐述数据为本,智能为用,将大数据与AI深度融合,呈现了业界最前沿技术。
2565 0
阿里云,Facebook,英特尔,Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集
|
分布式计算 监控 大数据
[干货]作为大数据入门者,你不得不知道的2017杭州云栖大会
2017杭州云栖大会于10月14日完美闭幕,据说今年6W+人的技术盛宴(我们先不追究具体多少人)。大家可能更多的只知道马老师谈及到阿里巴巴达摩院、听到各种刷脸支付的高科技、各种数据大脑的发布,但是我觉得作为一个大数据入门者,你只知道这些远远不够!
5482 0
|
算法 大数据 云栖大会
云栖大会不能错过的一个专场——阿里大数据
2017云栖大会 不能错过的一个专场——阿里大数据论坛 系统性揭秘阿里巴巴背后的数据中台,如何从EB级别海量数据中掘金 导语: 将阿里十余年在大数据领域沉淀的技术能力和应用实践对外分享,首次系统性解密阿里大数据体系:构建了从底层的数据采集、处理,到挖掘算法、应用、产品服务的全链路、标准化的大数据体系,使得超过EB级别的海量数据能够高效融合,并以秒级的响应速度,服务并驱动自身的业务和外部千万用户的发展。
4196 0
|
分布式计算 大数据 云栖大会
赢取9月杭州云栖大会单日免费票—快来参加大数据计算直播就对了
想要获得杭州云栖大会9月19日单日免费门票,快来参加直播就对了~~
3434 0
|
机器学习/深度学习 人工智能 大数据
「深圳云栖大会」大数据时代以及人工智能推动下的阿里云异构计算
最近几年,在大数据和人工智能的推动下,异构计算有了长足的发展。无论是在产品形态上,还是在应用领域上,阿里云异构计算都取得了累累硕果。
3253 0
|
存储 安全 大数据
Quick BI助力云上大数据分析---深圳云栖大会
在3月29日深圳云栖大会的数据分析与可视化专场中,阿里云产品专家陌停对大数据智能分析产品 Quick BI 进行了深入的剖析。大会现场的精彩分享也赢得观众们的一直认可和热烈的反响。 大数据分析之路的挑战与期望  阿里巴巴作为一家大数据公司,整个集团,从上到下都在践行数字化运营。
17527 0
|
分布式计算 测试技术 MaxCompute
北京云栖大会MaxCompute又出大招,Python UDF抢先体验!
2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF。 小编第一时间申请到了公测资格,下面就为大家做个简单演示,通过DataWorks注册MaxCompute Python UDF(字符串大小写转换),完成数据处理。
9046 0

相关产品

  • 云原生大数据计算服务 MaxCompute