【邀请函】相约CommunityOverCode Asia 2024,共探Flink、Paimon、Celeborn开源新境界!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 相约 CommunityOverCode Asia 2024,共探 Flink、Paimon、Celeborn 开源新境界!让我们在技术的浩瀚星海中,携手航行,共创辉煌!

CommunityOverCode是由Apache软件基金会(ASF)主办的一系列全球性会议,旨在促进开源技术的发展和社区参与。自1998年以来,ApacheCon一直是这一系列活动的核心,吸引了不同背景和技术层级的参与者,关注于“明天的技术”。随着对亚太地区日益增长的关注,2021年首次举办面向该地区的在线会议,并在北京成功举办了首场线下会议。

今年,CommunityOverCode Asia 2024定于7月26-28日在杭州举行,将继续展现Apache项目的最新进展、孵化中的创新以及开源社区的运作模式等议题,同时探讨开源软件的商业模式、法律问题及其他相关话题,致力于连接全球开源爱好者、Apache用户和开发者,共同推进开源技术的进步与发展。

本次大会直接对话Apache Flink、Apache Paimon、Apache Celeborn 等项目的 Committer及用户,他们将亲自揭秘项目背后的架构设计、技术挑战与解决方案,分享在大数据处理、实时分析、数据管理等领域的第一线应用经验,让理论与实践碰撞出火花,带领您深入技术腹地,领略开源魅力,助您在实际工作中游刃有余。

此外,活动现场特设Apache Paimon与Apache Celeborn展台,诚邀诸位开发者莅临展台,与项目Committer团队交流互动,共襄技术与创意的碰撞盛宴,赢取开源项目定制礼品。

技术分享

  • Apache Flink
时间 地点 议题标题 主要介绍内容 讲师
26日 2:30 pm-3:00 pm ROOM 6 Flink 应用程序的动态和增量配置管理 在快速发展的流处理领域中,Apache Flink 已成为开发强大、可扩展和实时数据处理应用程序的重要平台。然而,在动态环境下管理 Flink 应用程序的配置存在着显著挑战,包括需要灵活性、一致性以及在无停机情况下适应变化的能力。本议题将详细介绍 eBay 基础平台实现 Flink 应用程序动态和增量配置管理的方案。 Wei Chen
26日 3:45 pm - 4:15 pm ROOM 6 在 Apache Flink 中混合流处理和批处理 在本次演讲中,我们将讨论混合模式的概念和优势,并介绍相关的技术挑战和设计解决方案。我们将演示在各种使用案例中,混合模式如何提高吞吐量超过 50%。此外,我们还将介绍 Flink 社区在此领域的最新进展和未来计划。 苏轩楠
26日 4:45 pm - 5:15 pm ROOM 6 使用 Flink CDC 赋能实时数据集成 在数据速度和数量迅速增长的时代,Apache Flink 结合变更数据捕获(CDC)技术为实时数据集成提供了变革性的解决方案。本次演讲将深入探讨 Flink CDC 的架构和实现,重点介绍这种组合如何促进各行业间的实时数据同步、分析和决策。 任庆盛
27日 2:00 pm - 2:30 pm ROOM 6 字节跳动对 Flink SQL 性能优化的探索与实践 随着字节跳动内部对流处理任务需求的日益增长,Flink SQL 的大规模应用已经逐渐在多个部门中普及。在本次演讲中,我们将详细介绍字节跳动内部进行的主要优化及所取得的结果。 李精卫
27日 3:00 pm - 3:30 pm ROOM 6 货拉拉的 Apache Flink CDC 的实践与应用 Lalamove 和货拉拉(Huolala)是一个按需配送平台,其使命是通过让配送变得快速、简单和实惠,为社区赋能。我们在社区最新的 Apache Flink CDC 3.0 上进行了实践,并将其应用于生产环境中。目前运行着 100 多个任务,我们将分享在生产实践中遇到的挑战和问题,并回馈给社区。 Zheng Yu Chen
27日 4:15 pm - 4:45 pm ROOM 6 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 王胜杰
  • Apache Paimon
时间 地点 议题标题 主要介绍内容 讲师
26日 2:30 pm - 3:00 pm ROOM 5 Apache Paimon:用于流处理、批处理和联机分析处理的统一数据湖 1、Paimon 从实时更新开始,解决了 CDC 数据进入数据湖的核心问题。 2、Paimon 解决了大量的可用性问题,可以使用 Spark 构建离线数据仓库。 3、Paimon 提供了删除向量、Z-order 和索引等技术,以提供高性能的 OLAP 查询。 李劲松
26日 4:15 pm - 4:45 pm ROOM 8 Paimon Append 表的实践旨在进行高性能分析 作为一项新兴的数据湖项目,Apache Paimon 正处于快速发展阶段。大多数人通过其流式数据湖功能来认识 Paimon,特别是其主键表的部分更新和 LSM 树结构。但是 Paimon 的非主键表(主要通过批量分析)也在大力发展。本演讲将介绍 Paimon 中的附加表。 叶俊豪
27日 2:00 pm - 2:30 pm ROOM 5 基于 Apache Paimon 的中国联通流式 Lakehouse 的应用实践 本专题计划介绍中国联通基于 Apache Paimon 构建流式数据仓库的实践经验,主要包括中国联通的两个核心业务项目:实时用户标签和自然人。内容包括业务背景、流批量集成数据仓库架构、实践中遇到的问题及相应的解决方案、使用 Apache Paimon 解决问题所取得的收益以及未来的计划。 Yunpeng Wang, Zhenhao Li
27日 3:45 pm - 4:15 pm ROOM 6 Paimon x Spark:不仅仅是将数据摄入数据湖 这个主题将详细介绍 Paimon 和 Spark 的集成,包括功能的丰富、性能的提升、场景的扩展,以及与 Spark 原生引擎的集成。 Yan Bi
27日 4:15 pm - 4:45 pm ROOM 6 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 王胜杰
27日 4:15 pm - 4:45 pm ROOM 5 Apache Paimon 数据湖架构的洞察和设计分析 在本演讲中,我将深入探讨 Apache Paimon 数据湖项目的核心实施细节。通过本次分享,参会者将深入了解 Apache Paimon 数据湖项目。 陈卓宇
28日 4:15 pm - 4:45 pm ROOM 8 Apache Paimon:从孵化器到顶级项目(TLP) 首先概述 Apache Paimon,并介绍 Paimon 如何帮助用户构建具有低延迟和高吞吐量的数据基础架构。作为 Apache Flink 社区的一个子项目,Paimon 曾有机会直接成为 Apache 的顶级项目。接下来,我们将讨论为什么我们选择经历孵化过程,如何逐步建立自己的路径成为顶级项目,我们从社区中获得了什么并回馈了什么,以及我们如何在 Apache 的方式下建立一个活跃多样的社区。最后,我们将总结本次会议,讨论 Apache Paimon 毕业后的路线图和未来发展,包括产品和社区两方面的展望。 翁才智
  • Apache Celeborn
时间 地点 议题标题 主要介绍内容 讲师
26日 2:00 pm - 2:30 pm ROOM 6 Apache Celeborn 社区进化与 Apache Flink Hybrid Shuffle 集成 在本次 Session 中,我们将分享这个先进的 shuffle 框架,重点介绍:1.Apache Celeborn 在不同引擎中的最新特性和未来路线图。2.Flink 在混合 shuffle 上与 Celeborn 的集成工作和未来计划。 郭伟杰 熊佳树
27日 3:00 pm - 3:30 pm ROOM 4 Apache Celeborn 在 Bilibili 的生产实践 1.介绍 Apache Celeborn 的最新功能 2.介绍 Apache Celeborn 在 Bilibili 上的最佳实践 3.提供 Apache Celeborn 在 Bilibili 上执行的简要概述 4.概述 Apache Celeborn 的未来实际计划 Nicholas Jiang
28日 2:00 pm - 2:30 pm ROOM 3 将 Apache Celeborn 和 Apache Gluten 集成以实现云原生 Shuffle 本次会议探讨了将 Apache Celeborn(孵化中)和 Apache Gluten(孵化中)进行集成的内容。Apache Celeborn 是一个新的孵化中的 Apache 项目,用于提供本地 SQL 引擎支持,而 Apache Gluten 则是一个用于处理 Shuffle 的孵化中的 Apache 项目。通过将这两个项目集成起来,可以增强 Apache Spark 在大数据计算环境中的性能。 Weiting Chen, Kai Zhang, Keyong Zhou
28日 4:45 pm - 5:15 pm ROOM 2 Apache Kyuubi、Celeborn 和 DolphinScheduler在 Cisco 中的实践应用 1、背景 2、Kyuubi(私有云和公有云)的实践应用 3、Kyuubi 与 DolphinScheduler 的集成 4、Kyuubi 与 Celeborn 的集成 He Zhao, Pengqli Li

开源集市

欢迎各位大数据开发者来开源市集上的 Apache Paimon 及 Apache Celeborn 展台,与项目的Committer们面对面交流心得。这不仅是一场技术的盛宴,更是一次心与心连接的宝贵机会,而且还有机会赢取我们精心准备的项目定制小礼品,让这份技术之旅留下温馨的纪念。期待在美好的一天里,与您相聚在这个充满活力与创意的空间,共同编织知识的网,不见不散哟!

参会报名

感兴趣参加的各位开发者,请扫描下方二维码完成参会报名~

欢迎您的加入,让我们在技术的浩瀚星海中,携手航行,共创辉煌!


更多内容

img


活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动:
新用户复制点击下方链接或者扫描二维码即可0元免费试用 Flink + Paimon
实时计算 Flink 版(3000CU*小时,3 个月内)
了解活动详情:https://free.aliyun.com/?utm_content=g_1000395379&productCode=sc

retouch_2024070417440476.jpg

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
打赏
0
7
7
1
1595
分享
相关文章
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享,围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化,以及基于Paimon的湖仓方案优势。通过分层设计与技术优化,实现业务交付周期缩短30%以上,资源开销降低40%,并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动,助力企业探索实时计算与湖仓一体化解决方案。
381 3
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
616 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
万字长文带你深入广告场景Paimon+Flink全链路探索与实践
本文将结合实时、离线数据研发痛点和当下Paimon的特性,以实例呈现低门槛、低成本、分钟级延迟的流批一体化方案,点击文章阅读详细内容~
Flink基于Paimon的实时湖仓解决方案的演进
本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享,涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用;技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进;发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化,系统不仅简化了复杂度,还提升了实时与离线处理的灵活性和效率。
406 3
Flink基于Paimon的实时湖仓解决方案的演进
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
210 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
Flink基于Paimon的实时湖仓解决方案的演进
Flink基于Paimon的实时湖仓解决方案的演进
实时计算UniFlow:Flink+Paimon构建流批一体实时湖仓
实时计算架构中,传统湖仓架构在数据流量管控和应用场景支持上表现良好,但在实际运营中常忽略细节,导致新问题。为解决这些问题,提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式(如Paimon)和Flink CDC工具,简化开发流程,降低成本,并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table,实现了声明式ETL,优化了调度和执行模式,使用户能灵活调整新鲜度与成本。最终,UniFlow不仅提高了开发和运维效率,还提供了更实时的数据支持,满足业务决策需求。
Flink Forward Asia 2024 即将盛大开幕!
Flink Forward Asia 2024是由Apache官方授权的技术大会,聚焦流式湖仓、流批一体、AI大模型等热点方向,旨在分享Flink社区最新动态及实践经验,是Flink开发者和使用者不容错过的盛会。大会不仅探讨了Flink在实时大数据分析中的应用,还深入讨论了Data+AI领域的新成果,如基于Flink和Elasticsearch的企业级高级RAG架构设计,展示了Flink在多模态数据处理、实时数据向量化等方面的强大能力。

相关产品

  • 实时计算 Flink版