技术与架构,解析如何将大数据最快落地到实践

简介: 3月9日14点,业内首个结合技术与应用的在线大数据技术峰会即将展开,届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。较为有看点的是: 最深入的实践:本次在线峰会上,6个阿里规模的大数据实践将被深入分享,包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。

免费开通大数据服务:https://www.aliyun.com/product/odps


直播回顾: https://yq.aliyun.com/webinar/history?spm=5176.8067841.wnold.1.rLvSkQ


3月9日14点,业内首个结合技术与应用的在线大数据技术峰会即将展开,届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。较为有看点的是:


最深入的实践:本次在线峰会上,6个阿里规模的大数据实践将被深入分享,包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。同时,在技术分享之外,你还可以与嘉宾进行问答互动,免费的学习机会就在这里!


最真实的应用:技术的价值在于赋能业务,然而真正结合起来并不简单,本次峰会上,地产、医疗、电商、社区等实际场景大数据应用案例将被放出,这里有帮助你打开大数据赋能的钥匙。



技术实践篇


伟林 阿里云资深专家



嘉宾简介:阿里巴巴大数据事业部资深架构师,原微软Cosmos/Scope核心开发人员, 现负责阿里巴巴大数据计算平台总体架构,该平台是阿里巴巴核心计算分析平台,承担阿里内部绝大数计算任务。林伟作为一名分布式系统研究员,在国外一流会议OSDI, SIGMOD, NSDI, VLDB发表多篇论文。是大数据存储,分布式计算,数据查询优化,分布式调度等领域的专家。具有10多年研究和开发经历,分别打造微软和阿里内部大型数万台级别数据中心的计算平台。

演讲议题:MaxCompute 2.0 性能优化揭秘

直播时间:3月9日 14:00-14:40

议题简介:分布式系统性能优化核心,以及基于代价的大数据平台优化器打造。


振禹 阿里云高级专家



嘉宾简介:20年业界经验,在数据与分布式系统的应用与开发方面有丰富的经验。目前负责MaxCompute SQL大数据语言的设计与开发,致力于提高MaxCompute的用户体验。

演讲议题:MaxCompute——大数据语言的新发展

直播时间:3月9日 14:40-15:20

议题简介:MaxCompute是全新一代的ODPS,基于完全自主研发的ODPS2.0 SQL引擎。MaxCompute SQL大数据语言在易用性,兼容性,性能与可扩展性方面取得长足进步。此演讲将向您逐一介绍这些新功能。

听众预计受益:对于MaxCompute的现有用户,能够知道基于ODPS2.0的SQL引擎给大家带来的易用性改进与新功能,提高开发效率,降低维护成本,提高性能。对于潜在用户,能够知道基于ODPS2.0的SQL引擎在兼容性方面的改进,知道如何利用这些特性方便迁移使用MaxCompute,并知道使用MaxCompute在易用性与可扩展性方面的优势。


布民 阿里云高级专家



嘉宾简介:2015年加入阿里巴巴,现为阿里云高级专家、技术委员会成员,及大规模流计算与图计算平台负责人。布民之前在微软亚洲研究院任主管研究员,主要研究兴趣为大规模分布式计算。至今已在相关领域顶级会议(如OSDI,NSDI,EuroSys等)发表多篇论文,曾获得EuroSys 2012的最佳论文奖(亚洲首篇)。多项研究成果已被转化为产品并应用于实际生产。

演讲议题:大规模流式增量计算及其在阿里巴巴的应用

直播时间:3月9日 15:20-16:00

议题简介:实时化是大数据应用及分布式系统设计的重要发展趋势,其中流式数据处理又是核心场景之一。本演讲首先介绍一系列典型场景以及它们带来的商业价值。随后结合阿里巴巴真实场景,谈谈流式计算的技术挑战及系统设计的关键问题。特别的,将介绍独特的增量计算需求,及其与系统其它关键能力(如容错)的设计交互和抽象。最后结合我们过去几年的工作和思考,谈谈对未来流式计算应用及系统发展的展望。

听众预计受益:听众可以了解PAI机器学习平台的模型演进,尤其是阿里在面对大规模分布式机器学习难题的时候的解决思路。

  1. 了解大数据应用实时化趋势下,流式数据处理的典型应用场景和商业价值。

  2. 了解流式数据处理在阿里巴巴真实场景中的应用与技术挑战。

  3. 了解真实场景驱动的系统设计核心问题,及阿里云在服务阿里巴巴集团内外场景中积累的思考和对未来的展望。


九丰 阿里云高级专家



嘉宾简介:九丰,阿里云大数据事业部高级专家,14年加入阿里云,一直从事PAI机器学习平台的建设。

演讲议题:PAI分布式机器学习平台计算模型演进之路

直播时间:3月9日 16:00-16:40

议题简介:随着训练数据规模的持续扩大,模型特征的持续增长,常用的机器学习算法面临着越来越多的挑战。从很多人熟悉的R语言,到基于MPI的多机的计算框架,再到支持超大规模特征的Parameter Server架构,再到如今的深度学习计算框架,机器学习平台上的编程模型也在不断演进,以满足业务上持续的挑战。本次主题主要和大家分享PAI分布式机器学习平台的多种编程模型的演进过程。

听众预计受益:听众可以了解PAI机器学习平台的模型演进,尤其是阿里在面对大规模分布式机器学习难题的时候的解决思路。


朋春 阿里云高级技术专家



嘉宾简介:阿里云高级技术专家,5年以上高吞吐数据传输平台的研发经验,目前是MaxCompute数据通道团队负责人。

演讲议题:MaxCompute数据上云与生态

直播时间:3月9日 16:40-17:20

议题简介:玩大数据的第一件事情是如何将数据上传到MaxCompute。在前台存储多样化的形式下,数据上传存在着多种多样的需求;另一方面,网络质量的好坏又对传输过程中的时效性、吞吐量和容错能力带来了不小的挑战。

本次演讲会从MaxCompute提供的离线、实时数据通道入手,延伸到DTS、Logstash、DataX等官方/开源软件,向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据。除此之外,还会涉及一些在Python和R语言中使用MaxCompute的介绍。

听众预计受益:1、了解如何利用现有工具,快速地向MaxCompute导入数据;2、了解不同网络环境和存储类型下的导入导出工具选择;3、通过示例了解如何在Python和R环境中使用MaxCompute。


无庸 阿里云高级技术专家



嘉宾简介:阿里云大数据计算服务MaxCompute框架负责人、高级技术专家,专注于高可用大规模分布式系统的平台开发。

演讲议题:高可用大数据计算平台如何持续发布和演进

直播时间:3月9日 16:40-17:20

议题简介:大数据服务如何持续发布和演进一直是业界的一个难题。成熟的大数据服务必须具备高可用、高稳定、高安全、高效率等特点,与此同时,为了满足用户不断增长的需求和规模,大数据服务需要不断地完善功能提高性能,两者之间存在着天然的矛盾。本次演讲将会介绍阿里云大数据计算服务MaxCompute在解决这个难题中的一些方案和实践。

听众预计受益:1) 大数据服务新功能在保障数据安全和用户知识产权的前提下高覆盖、高效率的测试方法;2) 大数据服务保证高可用高可靠前提下灰度发布上线的方法。


场景应用篇


许鹏 佰腾科技CTO



演讲议题:专利大数据的云上裂变之路

直播时间:3月9日 14:00-14:40

议题简介:专利大数据的大不在于数据的“多”,而在于数据的“宽”,专利数据每

拓宽一个比特都需要对原始数据进行多次的拆解和分析,传统的计算技术很难满足这种大

规模的数据挖掘需求,而阿里云的数加平台为我们提供了更大的存储、更高的性能、更好

的分析,让我们实现了专利数据的快速裂变。


刘峥 明源云大数据负责人



嘉宾简介:明源云大数据负责人,多年来探索传统行业大数据应用与变现,现在地产垂直领域负责行业大数据管理平台整体规划与建设。

演讲议题:地产大数据趋势与应用实践

直播时间:3月9日 14:40-15:20

议题简介:大数据能够对地产行业的拿地决策、营销、服务等业务带来哪些帮助;明源如何通过阿里云将大数据业务场景落地;明源云大数据管理平台的技术架构


洋 小红唇


个人简介:王洋, 毕业于北京邮电大学计算机科学与技术系,研究生学历。曾在IBM中国研发中心和Polycom中国研发中心从事软件开发及管理工作。2014年作为创始团队加入北京小鱼儿科技有限公司,负责管理云端及移动端APP的开发。2016年加入小红唇网络科技有限公司,全面负责公司的研发管理。精通云服务、移动APP的架构设计与开发,在大数据、实时音视频系统等方面具有丰富的经验。

演讲议题:用大数据打造你的变美频道

直播时间:3月9日 15:20-16:00

议题简介:阿里数加平台完整的大数据技术栈和易用性,使小红唇公司快速建立了自己的数据分析、个性化推荐、机器学习等大数据核心应用。为小红唇不断扩大的业务提供了强有力的数据支撑,使用户获取变美内容和商品变得易如反掌。普通的开发人员通过数加平台迅速转变为数据工程师,而几乎零运维又使得工程师们能够专注于数据,不断使数据产生的收益最大化。


刘立兼 网聚宝首席架构师



个人简介:上海云贝网络科技有限公司首席架构师,数年来一直奋战在电商大数据领域。经历了一个又一个618/1111/1212。对面向大数据的高可用、高性能、易扩展的分布式架构技术有着深刻的理解,特别擅长基于云计算的系统架构。

演讲议题:云上大数据,零售新思维

直播时间:3月9日 16:00-16:40

议题简介:大数据的发展给各行各业都带来了变化。网聚宝基于5年的零售业的数据服务沉淀,结合云上大数据能力,给企业客户带去了更多的可能性。


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
存储 缓存 安全
某鱼电商接口架构深度剖析:从稳定性到高性能的技术密码
某鱼电商接口架构揭秘:分层解耦、安全加固、性能优化三维设计,实现200ms内响应、故障率低于0.1%。详解三层架构、多引擎存储、异步发布、WebSocket通信与全链路防护,助力开发者突破电商接口“三难”困境。
|
5月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
516 2
|
5月前
|
存储 人工智能 搜索推荐
拔俗AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教融合大语言模型、教育知识图谱、多模态感知与智能体技术,重构“教、学、评、辅”全链路。通过微调LLM、精准诊断错因、多模态交互与自主任务规划,实现个性化教学。轻量化部署与隐私保护设计保障落地安全,未来将向情感感知与教育深度协同演进。(238字)
583 0
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
466 2
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
1135 29
|
12月前
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
482 4
|
12月前
|
JavaScript 算法 前端开发
JS数组操作方法全景图,全网最全构建完整知识网络!js数组操作方法全集(实现筛选转换、随机排序洗牌算法、复杂数据处理统计等情景详解,附大量源码和易错点解析)
这些方法提供了对数组的全面操作,包括搜索、遍历、转换和聚合等。通过分为原地操作方法、非原地操作方法和其他方法便于您理解和记忆,并熟悉他们各自的使用方法与使用范围。详细的案例与进阶使用,方便您理解数组操作的底层原理。链式调用的几个案例,让您玩转数组操作。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
|
移动开发 前端开发 JavaScript
从入门到精通:H5游戏源码开发技术全解析与未来趋势洞察
H5游戏凭借其跨平台、易传播和开发成本低的优势,近年来发展迅猛。接下来,让我们深入了解 H5 游戏源码开发的技术教程以及未来的发展趋势。
|
存储 前端开发 JavaScript
在线教育网课系统源码开发指南:功能设计与技术实现深度解析
在线教育网课系统是近年来发展迅猛的教育形式的核心载体,具备用户管理、课程管理、教学互动、学习评估等功能。本文从功能和技术两方面解析其源码开发,涵盖前端(HTML5、CSS3、JavaScript等)、后端(Java、Python等)、流媒体及云计算技术,并强调安全性、稳定性和用户体验的重要性。

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 推荐镜像

    更多
  • DNS