精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)-阿里云开发者社区

开发者社区> 阿里云E-MapReduce团队> 正文

精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)

简介: 开源届前浪后浪全员凶猛,合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg,Flink 和 Hologres,Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案;还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。
+关注继续查看

11月1日,大数据+AI Meetup 第二季·上海站成功举办!来自阿里巴巴、DellEMC、Databricks、滴滴、bilibili、StreamNative、上海力萌的9位技术专家齐聚魔都,集中解读上半年大数据的热门话题。

开源届前浪后浪全员凶猛,合体也成为主流。此次 Meetup 干货满满,不仅分享了 Flink和Iceberg,Flink和 Hologres,Flink和Pulsar的深度融合的探索实践、Spark高性能向量化查询引擎解析,还有热度冲天的数据湖存储架构选型、bilibili 和滴滴的kafka平台优化方案;以及Elasticsearch、开源流式存储系统 Pravega 的企业级实践。

IMG_6531.JPG

9大主题 PPT 合集免费下载

微信扫描下方二维码,后台发送关键字【1101上海站】即可下载大数据+AI Meetup 上海站9位嘉宾分享的ppt合集~

公众号.jpg

直播精彩回顾:
https://developer.aliyun.com/live/245461

议题精彩回顾

《更低延时和更高吞吐量的流存储, Pravega性能详解》

嘉宾简介:雷璐,DellEMC, Senior Principal Engineer, 在分布式对象存储和流存储产品上有着10年+设计架构经验。现主要专注于流式系统上数据全文检索方向-Pravega Search.

演讲简介:

流式系统要求在只追加(Append-Only)数据结构之上实现高效的读写访问以及较低的端到端延迟。随着流式数据容量的不断增长,流式系统面临的挑战也越来越大,不仅要能够以低延迟处理工作负载,还要以高吞吐量容纳大容量数据。Pravega作为开源流式存储系统,不仅实现了读写路径的低延迟和高吞吐,同时还可以达到弹性、持久性和一致性的要求。更重要是,今天公用云提供的标准硬件让不同开源产品之间的性能对比变的透明和公平。本次分享中,雷璐老师选取了流系统几个标准场景去比较Pravega, Kafka, and Pulsar性能,并详细分享了所有技术细节。

《Kafka practice at bilibili》

嘉宾简介:张辰安,bilibili 资深开发工程师

演讲简介:

张老师本次分享了 Kafka 在 bilibili 的实践。从kafka在b站的规模,架构着手,介绍了在大流量下 kafka 的痛点及解决方案,如:如何解决写入抖动问题、为何需要修改kafka限流功能、kafka在多盘上的问题及解决方案、物理隔离任务优先级的方案等。

《数据湖存储架构选型》

嘉宾简介:郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上研发业界领先的 Hadoop/Spark 大数据平台和数据湖解决方案产品。

演讲简介:

数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。传统的大数据平台如何基于数据湖架构进行平台升级,享受新一轮的技术发展红利?郑老师着重跟大家分享了数据湖架构和应用在存储上面临的主要挑战,以及方案选型和最佳实践。

《Flink + Hologres 云原生实时数仓最佳实践》

嘉宾简介:刘一鸣,花名合一, 阿里云高级产品专家,主要负责Hologres产品的演进和商业化。在大数据、数据仓库、开源软件行业有10年以上工作经验,Apache Kylin PMC & Committer。

演讲简介:

Hologres是基于云原生能力设计的,支持高吞吐数据实时写入、实时分析的分布式数据仓库产品,与Flink的实时加工能力相结合,满足实时数仓的建设、运维需求。此次分享,刘老师介绍了Hologres设计理念和架构体系,解析了大数据是如何支持分析服务一体化的,并重点分享了实时数仓建设实践案例。

《万亿级消息队列Kafka在滴滴的实践》

嘉宾简介:张亮,滴滴大数据架构部,高级技术专家, 2014年加入滴滴,主持构建过任务调度系统、监控系统、日志服务、实时计算、同步中心等平台设计与研发工作,目前在负责LogAgent、Kafka 、ElasticSearch、OLAP的引擎建设工作,具有丰富的高并发、高吞吐场景的架构设计与研发经验。

演讲简介:

Kafka作为滴滴大数据消息队列,每天承载万亿级消息的生产与消费,面对60GB/S峰值流量,在集群稳定性,运维友好性上遇到了很大的挑战,在本次演讲中,张亮老师分享了滴滴在Kafka高可用建设上在架构与引擎上的针对性优化;在Kafka可观察性与运维友好性上在Kafka云平台的建设实践。

《基于spark的高性能向量化查询引擎》

嘉宾简介:范文臣,Databricks 开源组技术主管,Apache Spark Committer、PMC成员,Spark开源社区核心开发之一。

演讲简介:

随着IO硬件性能的不断提升,越来越多的查询引擎针对CPU进行优化。本次演讲中,范老师跟大家分享了Databricks在构建向量化查询引擎过程中的一些实践经验。

《Apache Pulsar + Flink:统一批流处理最佳实践》

嘉宾简介:赵建云,StreamNative 工程师,Apache Pulsar Contributor

演讲简介:Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。尽管 Apache Flink 支持统一的批处理和流计算,但大多数流式存储系统均不支持它。 Apache Pulsar 的独特设计与当前正在开发的一些新功能相结合,解决了这个问题。在本演讲中,赵老师介绍了批流融合带来的新特性,例如并行批处理读取使用批处理工作负载、Key_Shared订阅等,并分享了批流融合处理的最佳实践案例。

《Elasticsearch 大数据应用能力探查》

嘉宾简介:李猛,上海力萌信息科技有限公司 数据技术专家。Elastic Stack深度用户,Elastic官方认证工程师,国内首批21人通过者之一。2012年接触Elasticsearch,对Elastic Stack技术栈开发、架构、运维、源码、算法等方面有深入体验,实践过多种Elastic Stack项目,主导过数据规模PB级以上的项目,包括大数据分析领域,复杂业务系统领域,日志采集处理分析领域,系统指标监控领域等。业余为企业和个人提供Elastic Stack咨询培训以及调优实施。

演讲简介:
1.全面介绍Elastic Stack自有大数据的处理能力、应用场景案例。
2.了解Elasticsearch与其它大数据产品混合能力、应用场景案例。

《Iceberg+Flink 应用场景深度分析》

嘉宾简介:李劲松,花名之信,阿里巴巴技术专家,Apache Flink&Iceberg Committer,长期专注于流批一体的计算与数仓架构。

演讲简介:

数据湖的概念从被提出至今热度不减,Iceberg 也是数据湖方向备受瞩目的存在。如何将数据湖与强大算力相结合是大数据领域一直在探索的主题。本次分享,Apache Flink Committer 李劲松介绍了数据湖的概念及 Iceberg 技术详情,并从如何构建数仓 Data Pipeline、数仓实时化以及如何构建CDC Pipeline三个方面跟大家分享了 Flink + Iceberg 的相关实践。


关注及了解后续大数据+AI meetup 详情,可钉钉扫码加入大数据+AI技术交流群,下一站 Meetup 去哪里?敬请期待!

大数据+ai.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9503 0
精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)
开源届前浪后浪全员凶猛,合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg,Flink 和 Hologres,Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案;还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。
4064 0
【1026 - 1030直播导视 | PPT 下载】阿里专家直播:EasyTransfer平台应用实践、大数据+AI meetup 2020第二季·上海场来啦!
本周为大家带来了8场技术公开课,技术学习实践两不误!开源日迎来第六期啦线上对话阿里云专家:为大家带来EasyTransfer平台应用实践;大数据+AI meetup上海专场来啦!大家快办好小板凳坐等下周技术专场吧!
3454 0
大数据+AI Meetup 2021 首站!9位大佬解读向量搜索技术在多维场景下的应用
3月20日,阿里云开发者社区联合阿里云计算平台事业部、达摩院共同举办的 BIGDATA + AI Meetup · 北京站向量检索专场即将重磅开启!
918 0
带你读《Greenplum:从大数据战略到实现》之二:建立基于大数据的高阶数字化战略
这是一本系统剖析Greenplum开源大数据平台的书籍,也是大数据战略制定与落地的实战型指导书!本书围绕数字原生和云计算、大数据、人工智能驱动的企业数字化转型的核心诉求,从商业和技术实战视角分享了业界领先企业大数据战略的深刻思考,并提供了大数据战略从制定到落地的全面指导。既有高阶数字化战略高度对大数据的解读,又有技术实战角度对使用 Greenplum 大数据和机器学习平台实现大数据战略的实践指南。
745 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13201 0
这场大数据+AI Meetup,一次性安排了大数据当下热门话题
如何选择合适自己业务的大数据计算引擎?数据湖、数据仓库、HSAP究竟能解决什么问题?机器学习平台那么多,好用的有哪些?这场大数据+AI Meetup将会一一为您解答
951 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11517 0
1-关于单片机通信数据传输(中断发送,大小端,IEEE754浮点型格式,共用体,空闲中断,环形队列)
写这篇文章的目的呢,如题目所言,我承认自己是一个程序猿.....应该说很多很多学单片机的对于...先不说别的了,,无论是学51的还是32的,,,先问一下大家用串口发送数据的时候是怎么发的???如果发整型的数据是怎么发的??如果发浮点型的是怎么发的????再问大家串口接收数据是怎么接收的????亲们有...
1521 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6901 0
217
文章
14
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载