11月1日，大数据+AI Meetup 第二季·上海站成功举办！来自阿里巴巴、DellEMC、Databricks、滴滴、bilibili、StreamNative、上海力萌的9位技术专家齐聚魔都，集中解读上半年大数据的热门话题。
开源届前浪后浪全员凶猛，合体也成为主流。此次 Meetup 干货满满，不仅分享了 Flink和Iceberg，Flink和 Hologres，Flink和Pulsar的深度融合的探索实践、Spark高性能向量化查询引擎解析，还有热度冲天的数据湖存储架构选型、bilibili 和滴滴的kafka平台优化方案；以及Elasticsearch、开源流式存储系统 Pravega 的企业级实践。
9大主题 PPT 合集免费下载
微信扫描下方二维码，后台发送关键字【1101上海站】即可下载大数据+AI Meetup 上海站9位嘉宾分享的ppt合集～
议题精彩回顾
《更低延时和更高吞吐量的流存储， Pravega性能详解》
嘉宾简介：雷璐，DellEMC, Senior Principal Engineer, 在分布式对象存储和流存储产品上有着10年+设计架构经验。现主要专注于流式系统上数据全文检索方向-Pravega Search.
演讲简介：
流式系统要求在只追加（Append-Only）数据结构之上实现高效的读写访问以及较低的端到端延迟。随着流式数据容量的不断增长，流式系统面临的挑战也越来越大，不仅要能够以低延迟处理工作负载，还要以高吞吐量容纳大容量数据。Pravega作为开源流式存储系统，不仅实现了读写路径的低延迟和高吞吐，同时还可以达到弹性、持久性和一致性的要求。更重要是，今天公用云提供的标准硬件让不同开源产品之间的性能对比变的透明和公平。本次分享中，雷璐老师选取了流系统几个标准场景去比较Pravega, Kafka, and Pulsar性能，并详细分享了所有技术细节。
《Kafka practice at bilibili》
嘉宾简介：张辰安，bilibili 资深开发工程师
演讲简介：
张老师本次分享了 Kafka 在 bilibili 的实践。从kafka在b站的规模，架构着手，介绍了在大流量下 kafka 的痛点及解决方案，如：如何解决写入抖动问题、为何需要修改kafka限流功能、kafka在多盘上的问题及解决方案、物理隔离任务优先级的方案等。
《数据湖存储架构选型》
嘉宾简介：郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上研发业界领先的 Hadoop/Spark 大数据平台和数据湖解决方案产品。
演讲简介：
数据湖技术在大数据领域炙手可热，随着在云上的广泛部署和应用，其业务价值逐渐获得业界共识。传统的大数据平台如何基于数据湖架构进行平台升级，享受新一轮的技术发展红利？郑老师着重跟大家分享了数据湖架构和应用在存储上面临的主要挑战，以及方案选型和最佳实践。
《Flink + Hologres 云原生实时数仓最佳实践》
嘉宾简介：刘一鸣，花名合一， 阿里云高级产品专家，主要负责Hologres产品的演进和商业化。在大数据、数据仓库、开源软件行业有10年以上工作经验，Apache Kylin PMC & Committer。
演讲简介：
Hologres是基于云原生能力设计的，支持高吞吐数据实时写入、实时分析的分布式数据仓库产品，与Flink的实时加工能力相结合，满足实时数仓的建设、运维需求。此次分享，刘老师介绍了Hologres设计理念和架构体系，解析了大数据是如何支持分析服务一体化的，并重点分享了实时数仓建设实践案例。
《万亿级消息队列Kafka在滴滴的实践》
嘉宾简介：张亮，滴滴大数据架构部，高级技术专家， 2014年加入滴滴，主持构建过任务调度系统、监控系统、日志服务、实时计算、同步中心等平台设计与研发工作，目前在负责LogAgent、Kafka 、ElasticSearch、OLAP的引擎建设工作，具有丰富的高并发、高吞吐场景的架构设计与研发经验。
演讲简介：
Kafka作为滴滴大数据消息队列，每天承载万亿级消息的生产与消费，面对60GB/S峰值流量，在集群稳定性，运维友好性上遇到了很大的挑战，在本次演讲中，张亮老师分享了滴滴在Kafka高可用建设上在架构与引擎上的针对性优化；在Kafka可观察性与运维友好性上在Kafka云平台的建设实践。
《基于spark的高性能向量化查询引擎》
嘉宾简介：范文臣，Databricks 开源组技术主管，Apache Spark Committer、PMC成员，Spark开源社区核心开发之一。
演讲简介：
随着IO硬件性能的不断提升，越来越多的查询引擎针对CPU进行优化。本次演讲中，范老师跟大家分享了Databricks在构建向量化查询引擎过程中的一些实践经验。
《Apache Pulsar + Flink：统一批流处理最佳实践》
嘉宾简介：赵建云，StreamNative 工程师，Apache Pulsar Contributor
演讲简介：Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。尽管 Apache Flink 支持统一的批处理和流计算，但大多数流式存储系统均不支持它。 Apache Pulsar 的独特设计与当前正在开发的一些新功能相结合，解决了这个问题。在本演讲中，赵老师介绍了批流融合带来的新特性，例如并行批处理读取使用批处理工作负载、Key_Shared订阅等，并分享了批流融合处理的最佳实践案例。
《Elasticsearch 大数据应用能力探查》
嘉宾简介：李猛，上海力萌信息科技有限公司 数据技术专家。Elastic Stack深度用户，Elastic官方认证工程师，国内首批21人通过者之一。2012年接触Elasticsearch，对Elastic Stack技术栈开发、架构、运维、源码、算法等方面有深入体验，实践过多种Elastic Stack项目，主导过数据规模PB级以上的项目，包括大数据分析领域，复杂业务系统领域，日志采集处理分析领域，系统指标监控领域等。业余为企业和个人提供Elastic Stack咨询培训以及调优实施。
演讲简介：
1.全面介绍Elastic Stack自有大数据的处理能力、应用场景案例。
2.了解Elasticsearch与其它大数据产品混合能力、应用场景案例。
《Iceberg+Flink 应用场景深度分析》
嘉宾简介：李劲松，花名之信，阿里巴巴技术专家，Apache Flink&Iceberg Committer，长期专注于流批一体的计算与数仓架构。
演讲简介：
数据湖的概念从被提出至今热度不减，Iceberg 也是数据湖方向备受瞩目的存在。如何将数据湖与强大算力相结合是大数据领域一直在探索的主题。本次分享，Apache Flink Committer 李劲松介绍了数据湖的概念及 Iceberg 技术详情，并从如何构建数仓 Data Pipeline、数仓实时化以及如何构建CDC Pipeline三个方面跟大家分享了 Flink + Iceberg 的相关实践。
关注及了解后续大数据+AI meetup 详情，可钉钉扫码加入大数据+AI技术交流群，下一站 Meetup 去哪里？敬请期待！
