【邀请函】相约CommunityOverCode Asia 2024,共探Flink、Paimon、Celeborn开源新境界!

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 相约 CommunityOverCode Asia 2024,共探 Flink、Paimon、Celeborn 开源新境界!让我们在技术的浩瀚星海中,携手航行,共创辉煌!

CommunityOverCode是由Apache软件基金会(ASF)主办的一系列全球性会议,旨在促进开源技术的发展和社区参与。自1998年以来,ApacheCon一直是这一系列活动的核心,吸引了不同背景和技术层级的参与者,关注于“明天的技术”。随着对亚太地区日益增长的关注,2021年首次举办面向该地区的在线会议,并在北京成功举办了首场线下会议。

今年,CommunityOverCode Asia 2024定于7月26-28日在杭州举行,将继续展现Apache项目的最新进展、孵化中的创新以及开源社区的运作模式等议题,同时探讨开源软件的商业模式、法律问题及其他相关话题,致力于连接全球开源爱好者、Apache用户和开发者,共同推进开源技术的进步与发展。

本次大会直接对话Apache Flink、Apache Paimon、Apache Celeborn 等项目的 Committer及用户,他们将亲自揭秘项目背后的架构设计、技术挑战与解决方案,分享在大数据处理、实时分析、数据管理等领域的第一线应用经验,让理论与实践碰撞出火花,带领您深入技术腹地,领略开源魅力,助您在实际工作中游刃有余。

此外,活动现场特设Apache Paimon与Apache Celeborn展台,诚邀诸位开发者莅临展台,与项目Committer团队交流互动,共襄技术与创意的碰撞盛宴,赢取开源项目定制礼品。

技术分享

  • Apache Flink
时间 地点 议题标题 主要介绍内容 讲师
26日 2:30 pm-3:00 pm ROOM 6 Flink 应用程序的动态和增量配置管理 在快速发展的流处理领域中,Apache Flink 已成为开发强大、可扩展和实时数据处理应用程序的重要平台。然而,在动态环境下管理 Flink 应用程序的配置存在着显著挑战,包括需要灵活性、一致性以及在无停机情况下适应变化的能力。本议题将详细介绍 eBay 基础平台实现 Flink 应用程序动态和增量配置管理的方案。 Wei Chen
26日 3:45 pm - 4:15 pm ROOM 6 在 Apache Flink 中混合流处理和批处理 在本次演讲中,我们将讨论混合模式的概念和优势,并介绍相关的技术挑战和设计解决方案。我们将演示在各种使用案例中,混合模式如何提高吞吐量超过 50%。此外,我们还将介绍 Flink 社区在此领域的最新进展和未来计划。 苏轩楠
26日 4:45 pm - 5:15 pm ROOM 6 使用 Flink CDC 赋能实时数据集成 在数据速度和数量迅速增长的时代,Apache Flink 结合变更数据捕获(CDC)技术为实时数据集成提供了变革性的解决方案。本次演讲将深入探讨 Flink CDC 的架构和实现,重点介绍这种组合如何促进各行业间的实时数据同步、分析和决策。 任庆盛
27日 2:00 pm - 2:30 pm ROOM 6 字节跳动对 Flink SQL 性能优化的探索与实践 随着字节跳动内部对流处理任务需求的日益增长,Flink SQL 的大规模应用已经逐渐在多个部门中普及。在本次演讲中,我们将详细介绍字节跳动内部进行的主要优化及所取得的结果。 李精卫
27日 3:00 pm - 3:30 pm ROOM 6 货拉拉的 Apache Flink CDC 的实践与应用 Lalamove 和货拉拉(Huolala)是一个按需配送平台,其使命是通过让配送变得快速、简单和实惠,为社区赋能。我们在社区最新的 Apache Flink CDC 3.0 上进行了实践,并将其应用于生产环境中。目前运行着 100 多个任务,我们将分享在生产实践中遇到的挑战和问题,并回馈给社区。 Zheng Yu Chen
27日 4:15 pm - 4:45 pm ROOM 6 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 王胜杰
  • Apache Paimon
时间 地点 议题标题 主要介绍内容 讲师
26日 2:30 pm - 3:00 pm ROOM 5 Apache Paimon:用于流处理、批处理和联机分析处理的统一数据湖 1、Paimon 从实时更新开始,解决了 CDC 数据进入数据湖的核心问题。 2、Paimon 解决了大量的可用性问题,可以使用 Spark 构建离线数据仓库。 3、Paimon 提供了删除向量、Z-order 和索引等技术,以提供高性能的 OLAP 查询。 李劲松
26日 4:15 pm - 4:45 pm ROOM 8 Paimon Append 表的实践旨在进行高性能分析 作为一项新兴的数据湖项目,Apache Paimon 正处于快速发展阶段。大多数人通过其流式数据湖功能来认识 Paimon,特别是其主键表的部分更新和 LSM 树结构。但是 Paimon 的非主键表(主要通过批量分析)也在大力发展。本演讲将介绍 Paimon 中的附加表。 叶俊豪
27日 2:00 pm - 2:30 pm ROOM 5 基于 Apache Paimon 的中国联通流式 Lakehouse 的应用实践 本专题计划介绍中国联通基于 Apache Paimon 构建流式数据仓库的实践经验,主要包括中国联通的两个核心业务项目:实时用户标签和自然人。内容包括业务背景、流批量集成数据仓库架构、实践中遇到的问题及相应的解决方案、使用 Apache Paimon 解决问题所取得的收益以及未来的计划。 Yunpeng Wang, Zhenhao Li
27日 3:45 pm - 4:15 pm ROOM 6 Paimon x Spark:不仅仅是将数据摄入数据湖 这个主题将详细介绍 Paimon 和 Spark 的集成,包括功能的丰富、性能的提升、场景的扩展,以及与 Spark 原生引擎的集成。 Yan Bi
27日 4:15 pm - 4:45 pm ROOM 6 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 王胜杰
27日 4:15 pm - 4:45 pm ROOM 5 Apache Paimon 数据湖架构的洞察和设计分析 在本演讲中,我将深入探讨 Apache Paimon 数据湖项目的核心实施细节。通过本次分享,参会者将深入了解 Apache Paimon 数据湖项目。 陈卓宇
28日 4:15 pm - 4:45 pm ROOM 8 Apache Paimon:从孵化器到顶级项目(TLP) 首先概述 Apache Paimon,并介绍 Paimon 如何帮助用户构建具有低延迟和高吞吐量的数据基础架构。作为 Apache Flink 社区的一个子项目,Paimon 曾有机会直接成为 Apache 的顶级项目。接下来,我们将讨论为什么我们选择经历孵化过程,如何逐步建立自己的路径成为顶级项目,我们从社区中获得了什么并回馈了什么,以及我们如何在 Apache 的方式下建立一个活跃多样的社区。最后,我们将总结本次会议,讨论 Apache Paimon 毕业后的路线图和未来发展,包括产品和社区两方面的展望。 翁才智
  • Apache Celeborn
时间 地点 议题标题 主要介绍内容 讲师
26日 2:00 pm - 2:30 pm ROOM 6 Apache Celeborn 社区进化与 Apache Flink Hybrid Shuffle 集成 在本次 Session 中,我们将分享这个先进的 shuffle 框架,重点介绍:1.Apache Celeborn 在不同引擎中的最新特性和未来路线图。2.Flink 在混合 shuffle 上与 Celeborn 的集成工作和未来计划。 郭伟杰 熊佳树
27日 3:00 pm - 3:30 pm ROOM 4 Apache Celeborn 在 Bilibili 的生产实践 1.介绍 Apache Celeborn 的最新功能 2.介绍 Apache Celeborn 在 Bilibili 上的最佳实践 3.提供 Apache Celeborn 在 Bilibili 上执行的简要概述 4.概述 Apache Celeborn 的未来实际计划 Nicholas Jiang
28日 2:00 pm - 2:30 pm ROOM 3 将 Apache Celeborn 和 Apache Gluten 集成以实现云原生 Shuffle 本次会议探讨了将 Apache Celeborn(孵化中)和 Apache Gluten(孵化中)进行集成的内容。Apache Celeborn 是一个新的孵化中的 Apache 项目,用于提供本地 SQL 引擎支持,而 Apache Gluten 则是一个用于处理 Shuffle 的孵化中的 Apache 项目。通过将这两个项目集成起来,可以增强 Apache Spark 在大数据计算环境中的性能。 Weiting Chen, Kai Zhang, Keyong Zhou
28日 4:45 pm - 5:15 pm ROOM 2 Apache Kyuubi、Celeborn 和 DolphinScheduler在 Cisco 中的实践应用 1、背景 2、Kyuubi(私有云和公有云)的实践应用 3、Kyuubi 与 DolphinScheduler 的集成 4、Kyuubi 与 Celeborn 的集成 He Zhao, Pengqli Li

开源集市

欢迎各位大数据开发者来开源市集上的 Apache Paimon 及 Apache Celeborn 展台,与项目的Committer们面对面交流心得。这不仅是一场技术的盛宴,更是一次心与心连接的宝贵机会,而且还有机会赢取我们精心准备的项目定制小礼品,让这份技术之旅留下温馨的纪念。期待在美好的一天里,与您相聚在这个充满活力与创意的空间,共同编织知识的网,不见不散哟!

参会报名

感兴趣参加的各位开发者,请扫描下方二维码完成参会报名~

欢迎您的加入,让我们在技术的浩瀚星海中,携手航行,共创辉煌!


更多内容

img


活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动:
新用户复制点击下方链接或者扫描二维码即可0元免费试用 Flink + Paimon
实时计算 Flink 版(3000CU*小时,3 个月内)
了解活动详情:https://free.aliyun.com/?utm_content=g_1000395379&productCode=sc

retouch_2024070417440476.jpg

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
4月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1112 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
2月前
|
存储 人工智能 数据处理
Flink Forward Asia 2025 主旨演讲精彩回顾
Flink Forward Asia 2025 在新加坡开幕,聚焦实时数据与 AI 融合。Apache Flink 推出新子项目 Flink Agents,支持系统触发的 AI Agent 应用,提升实时处理能力。Flink 2.0 实现存算分离,迈向云原生架构。Paimon 支持多模态数据存储,Fluss 成为面向 AI 的流表存储系统。大会展现 Flink 生态全面拥抱 AI 的未来方向。
290 1
Flink Forward Asia 2025 主旨演讲精彩回顾
|
4月前
|
SQL 存储 NoSQL
Flink x Paimon 在抖音集团生活服务的落地实践
本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享,聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分:背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon,解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题,显著提升了开发运维效率、节省资源并增强了任务稳定性。同时,文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用,并介绍了其核心技术优化与未来规划。
445 10
Flink x Paimon 在抖音集团生活服务的落地实践
|
5月前
|
人工智能 物联网 Apache
Flink Forward Asia 2025 新加坡站议题征集开启|The future of AI is Real-Time
Flink Forward Asia 2025 将于7月3日在新加坡盛大召开!作为Apache Flink社区顶级会议,大会聚焦实时AI、实时湖仓、实时分析等前沿方向,汇聚全球顶尖技术实践。即日起开放议题征集,诚邀开发者与数据专家分享创新经验。席位有限,立即行动!扫码或访问官网报名参与这场年度技术盛宴,共话实时计算未来。
426 17
Flink Forward Asia 2025 新加坡站议题征集开启|The future of AI is Real-Time
|
6月前
|
存储 运维 监控
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
本文总结了阿里妈妈数据技术专家陈亮在Flink Forward Asia 2024大会上的分享,围绕广告业务背景、架构设计及湖仓方案演进展开。内容涵盖广告生态运作、实时数仓挑战与优化,以及基于Paimon的湖仓方案优势。通过分层设计与技术优化,实现业务交付周期缩短30%以上,资源开销降低40%,并大幅提升系统稳定性和运营效率。文章还介绍了阿里云实时计算Flink版的免费试用活动,助力企业探索实时计算与湖仓一体化解决方案。
788 3
阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践
|
7月前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
1174 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
7月前
|
存储 关系型数据库 MySQL
Flink基于Paimon的实时湖仓解决方案的演进
本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享,涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用;技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进;发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化,系统不仅简化了复杂度,还提升了实时与离线处理的灵活性和效率。
725 3
Flink基于Paimon的实时湖仓解决方案的演进
|
6月前
|
存储 运维 BI
万字长文带你深入广告场景Paimon+Flink全链路探索与实践
本文将结合实时、离线数据研发痛点和当下Paimon的特性,以实例呈现低门槛、低成本、分钟级延迟的流批一体化方案,点击文章阅读详细内容~
|
7月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
675 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
6月前
|
SQL 消息中间件 Serverless
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
171 4

相关产品

  • 实时计算 Flink版