从 Apache ORC 到 Apache Calcite | 第三讲 海胜专访《MaxCompute 与大数据查询引擎的技术和故事》
【直播主题】海胜专访《MaxCompute 与大数据查询引擎的技术和故事》【分享嘉宾】苑海胜 阿里云智能计算平台 高级技术专家 / Apache Calcite Committer / 前 Greenplum 数据库优化器 Team Lead / CMU硕士【直播时间】6月6日 16:00-16:50 【精彩剧透】MaxCompute与MPP数据库的比较分布式系统上Join是如何实现的MaxCompute 针对 Join 和聚合引入的 Hash 和 Range Clustering 的优化从中国到日本,再到美国,工作经历和体验有何差别
从 Apache ORC 到 Apache Calcite | 第一讲 吴刚专访《大数据和 MaxCompute 技术和故事》
【直播主题】吴刚专访 《大数据和 MaxCompute 技术和故事》【分享嘉宾】吴刚 阿里云智能计算平台 技术专家 / Apache ORC PMC 首位华人 / 前硅谷 Uber Spark Tech Lead / CMU硕士【直播时间】5月23日 16:00-16:50 【精彩剧透】什么是Apache ORC开源项目?主流的开源列存格式ORC和Parquet有何区别?MaxCompute为什么选择ORC?如何一步步成为committer和加入PMC的?在阿里和Uber总部的工作体验有何异同?中、美互联网公司的文化有什么差别?【系列直播预告】5月30日 16:00-16:50 雷春蔚专访 《MaxCompute 与 Calcite 的技术和故事》 6月6日 16:00-16:50 苑海胜专访 《MaxCompute 与大数据查询引擎的技术和故事》
阿里云新品发布会第57期:DataWorks 实时数据开发平台发布会
查看产品:DataWorks点击了解:Stream Studio重磅发布有奖问答:互联网大数据时代的实时计算需求,你打算用什么方式来应对?点击了解:“阿里云新品发布会频道”点击订阅:阿里云新品发布·周刊发布会议程简介15:00-16:00 《阿里云DataWorks Stream Studio —— 一站式流任务开发平台》介绍实时计算任务开发的困难、问题和背景,引出使用Stream Studio可以大大加快实时任务的开发速度,降低开发和维护门槛,同时结合DataWorks的整体能力,能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。讲师简介王喆(喆别)+阿里巴巴产品专家扫码加入阿里云Stream Studio用户群
混合云大数据实践精讲
云平台、资源和集群太多,如何兼顾配置、状态、安全?层出不穷的云产品,各种各样的大数据、安全、数据库等,如何确保企业IT处在正常状态?驻云CEO、首席架构师、大数据总监三位重量级嘉宾首次同台授课,“湖畔第一大脑” 蒋烁淼领头线上精讲,内容涉及企业IT架构、混合云存储、大数据方案等实战内容,从技术实战到解决方案,难题痛点一次解透。本期内容:混合云大数据实践精讲主讲嘉宾:阿里云MVP,上海驻云信息科技有限公司大数据总监徐季秋相关内容:第一节:云时代企业IT智能诊断实践与探索第二节:企业IT架构云化转型挑战与应对第三节:混合云场景下存储实践精讲第四节:云管理服务技术要点和实践精讲【讲师介绍】蒋烁淼:阿里云MVP,上海驻云信息科技有限公司CEO。上海驻云信息科技有限公司创始人,马云湖畔大学第一期学员,公认的“湖畔第一大脑”。在云计算领域深耕多年,曾在阿里云成立之初为其提出开发建议。专注可视化云构架管理平台,阿里云钻石级合作伙伴。苏炎:阿里云MVP,上海驻云信息科技有限公司首席架构师。浙江大学软件工程学士毕业,后就读NEU(波士顿东北大学)计算机系统工程硕士。先后在IBM和华为的存储团队,以及VMware的VSAN团队担任软件工程师和架构师。2016加入上海驻云信息科技有限公司,担任首席架构师,并负责整个架构师团队,拓展公司的云上业务。精通云计算,对于系统架构设计,微服务化改造以及大数据有着深入的认识和理解。徐季秋:阿里云MVP,上海驻云信息科技有限公司大数据总监。毕业于浙江大学竺可桢学院,具有13年软件系统开发经验,7年大数据全链路经验。持有多个算法发明专利,并担任第一届阿里巴巴数据大学讲师,有丰富的分布式系统和算法开发经验。现任驻云科技大数据总监,前蚂蚁金服国际风控数据专家, 阿里巴巴数据科学团队专家,IBM China Development Lab 高级分布式系统开发。【分节内容】第一节:云时代企业IT智能诊断实践与探索摘要: 随着云计算的崛起和飞速发展,层出不穷的新技术不断地冲击着企业IT的建设,推动企业IT快速的转型。企业IT架构在发生重大变化的同时,对于其IT能力也提出巨大的挑战。把专家变成计算机算法,通过基于时间维度的大数据平台,构建了一个智能诊断体系。以不间断的在线自动化诊断的方式,发现IT的每一个问题,并且给出专业分析及处理建议。同时利用这个体系,实现业务数字化,各种系统信息的汇聚,提高人与人之间的协作。第二节:企业IT架构云化转型挑战与应对摘要:云计算特点及发展趋势定义了企业IT架构需要不断地云化演进,结合多年的云计算领域的实践经验,浅谈传统企业云化转型的过程,以及可能遇到的挑战,从而满足企业与服务使用者,服务提供者以及运维管理者的需求。第三节:混合云场景下存储实践精讲摘要:混合云是许多企业IT发展过程的必经阶段,着重描述如何实现公共云和私有云之间数据的自由流动,如何做到业务无感知,用户不需要关注数据的位置,实现数据的融合和自由迁移的解决方案。第四节:云管理服务技术要点和实践精讲摘要:为了适应云计算时代的发展趋势,对于企业的IT能力有了新的定义,企业需要具备不同的能力来适应时代发展的要求。第五节:混合云大数据实践精讲摘要: 混合云场景下如何建设更有性价比的大数据,去解决存通用问题,都需要经过仔细的考虑,结合驻云的实践经验,让大家有一个大概的了解。
阿里云新品发布会第50期:大数据平台开发者版发布会
发布会主题让MaxCompute成为国民级大数据平台—企业选型试用、开发者学习实验,统统零成本。发布会专属:MaxCompute开发者版 立即开通大数据计算服务 · MaxCompute产品活动专题页:让MaxCompute成为国民级大数据平台聚能聊话题:开发者如何0成本拥有自己的大数据项目?点击了解:“阿里云新品发布会频道”点击订阅:阿里云新品发布·周刊发布会内容简介/议程15:00-15:15《MaxCompute简介及MaxCompute开发者版介绍》MaxCompute不仅是阿里巴巴集团统一的计算平台,更是面向企业的智能化云数据仓库。对内,MaxCompute承载了阿里集团99%的数据存储以及95%的计算能力。每天有超过18000名阿里巴巴内部的开发者在这个平台上进行开发,几乎涵盖阿里内部所有的数据体系。对外,MaxCompute服务覆盖16个国家和地区,为全球金融、互联网、生物医疗、能源、交通,传媒等行业的数万家用户提供海量数据存储和计算能力。本次发布会MaxCompute将全新推出大数据开发者专属版本—MaxCompute开发者版。为什么要推出“开发者版”?“开发者版”的规格特点以及适用用户和场景有哪些?这会是在互联网寒冬的2019年,大数据技术全面普惠的风向标吗?15:15-15:45 《场景介绍及现场操作演示》详细介绍如何基于MaxCompute在阿里云构建典型大数据应用场景。以开发者版项目,对数据仓库/BI场景的完整数据加工链路进行DEMO演示,如何在0投入下学习、开发数据应用。15:45-16:00 《互动问答》对线上的用户问题进行互动解答。嘉宾信息曲宁(圣远)阿里云智能事业群 产品专家扫码加入阿里云MaxCompute开发者社区
阿里云新品发布会第45期:Mars科学计算引擎产品发布会
阿里首款自研科学计算引擎开源大数据技术直播第四季:MaxCompute 相关视频源于MaxCompute,阿里首款自研科学计算引擎Mars开源更多关于产品信息,请点击链接:大数据计算服务 · MaxCompute听到 Mars,很多同学都会产生灵魂三问吧:Mars 是什么,能做什么,怎么做的?点击了解“阿里云新品发布会频道”点击订阅:阿里云新品发布·周刊发布会议程简介15:00-15:10《Mars简介及科学计算介绍》从最早的MapReduce到今天,分布式大数据计算引擎已经经过的充分的优化和发展。以MaxCompute为代表的主流大数据引擎,都是传统数据库的关系代数计算模型的延伸。而对于科学计算来说,关系代数模型只能覆盖一部分计算需求,更多的计算形式,如矩阵计算,很难用关系代数表达而形成独立的编程风格和社区,如R和Numpy社区,并因此长久以来一直以单机优化为主。虽然科学计算的规模需求也在增加,但是一直和分布式大数据引擎无缘。阿里巴巴从2017年5月开始投入Mars——新一代分布式科学计算引擎的研发,力图打破大数据和科学计算两个领域的隔阂。一方面突破科学计算领域的规模瓶颈,另一方面也为现有大数据平台提供科学计算的能力。到现在,终于完成第一个版本并开源,可以和大家见面。15:10-15:50 《Mars系统设计揭秘》通过一个生动浅显的例子介绍科学计算在大数据场景下遇到的挑战,并逐步展开Mars在解决此类问题上的思考,以及选择的技术路线,系统架构。Mars面向大数据场景充分优化兼容Numpy已有API给用户带来最好的编程体验支持GPU/Sparse等多种使用场景Mars目前的规模及性能数字完全开源以及后续的发展路线15:50-16:00 《Mars Live Show》现场演示蒙特卡洛计算Pi,先演示单机模式下的R和Numpy介绍该方法的原理,再扩大规模到单机无法完成的情况下,对比Mars分布式执行的成绩。阿里云技术专家简介李睿博(艺卓) 阿里巴巴计算平台 高级技术专家秦续业(继盛) 阿里巴巴计算平台 技术专家扫码加入阿里云MaxCompute开发者社区
4节课全面突围企业大数据实践路线(四)
1、直播内容介绍:[MVP 时间]是由阿里云MVP主讲,聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案,减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容,全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分:共计4节课内容,分4次直播进行;每周三晚20:00准时开播,每次1个小时(45分钟的课程,15分钟的答疑)。此次为第四节课程:典型技术架构分析和构建2、分享嘉宾信息:姓名:戚俊 阿里云 MVP职位:浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。
4节课全面突围企业大数据实践路线(三)
1、直播内容介绍:[MVP 时间]是由阿里云MVP主讲,聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案,减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容,全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分:共计4节课内容,分4次直播进行;每周三晚20:00准时开播,每次1个小时(45分钟的课程,15分钟的答疑)。此次为第三节课程:解析业务数据特征2、分享嘉宾信息:姓名:戚俊 阿里云 MVP职位:浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。
4节课全面突围企业大数据实践路线(一)
1、直播内容介绍:[MVP 时间]是由阿里云MVP主讲,聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案,减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容,全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分:共计4节课内容,分4次直播进行;每周三晚20:00准时开播,每次1个小时(45分钟的课程,15分钟的答疑)。此次为第一节课程:企业大数据的现状与痛点2、分享嘉宾信息:姓名:戚俊 阿里云 MVP职位:浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。