【邀请函】相约CommunityOverCode Asia 2024,共探Flink、Paimon、Celeborn开源新境界!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 相约 CommunityOverCode Asia 2024,共探 Flink、Paimon、Celeborn 开源新境界!让我们在技术的浩瀚星海中,携手航行,共创辉煌!

CommunityOverCode是由Apache软件基金会(ASF)主办的一系列全球性会议,旨在促进开源技术的发展和社区参与。自1998年以来,ApacheCon一直是这一系列活动的核心,吸引了不同背景和技术层级的参与者,关注于“明天的技术”。随着对亚太地区日益增长的关注,2021年首次举办面向该地区的在线会议,并在北京成功举办了首场线下会议。

今年,CommunityOverCode Asia 2024定于7月26-28日在杭州举行,将继续展现Apache项目的最新进展、孵化中的创新以及开源社区的运作模式等议题,同时探讨开源软件的商业模式、法律问题及其他相关话题,致力于连接全球开源爱好者、Apache用户和开发者,共同推进开源技术的进步与发展。

本次大会直接对话Apache Flink、Apache Paimon、Apache Celeborn 等项目的 Committer及用户,他们将亲自揭秘项目背后的架构设计、技术挑战与解决方案,分享在大数据处理、实时分析、数据管理等领域的第一线应用经验,让理论与实践碰撞出火花,带领您深入技术腹地,领略开源魅力,助您在实际工作中游刃有余。

此外,活动现场特设Apache Paimon与Apache Celeborn展台,诚邀诸位开发者莅临展台,与项目Committer团队交流互动,共襄技术与创意的碰撞盛宴,赢取开源项目定制礼品。

技术分享

  • Apache Flink
时间 地点 议题标题 主要介绍内容 讲师
26日 2:30 pm-3:00 pm ROOM 6 Flink 应用程序的动态和增量配置管理 在快速发展的流处理领域中,Apache Flink 已成为开发强大、可扩展和实时数据处理应用程序的重要平台。然而,在动态环境下管理 Flink 应用程序的配置存在着显著挑战,包括需要灵活性、一致性以及在无停机情况下适应变化的能力。本议题将详细介绍 eBay 基础平台实现 Flink 应用程序动态和增量配置管理的方案。 Wei Chen
26日 3:45 pm - 4:15 pm ROOM 6 在 Apache Flink 中混合流处理和批处理 在本次演讲中,我们将讨论混合模式的概念和优势,并介绍相关的技术挑战和设计解决方案。我们将演示在各种使用案例中,混合模式如何提高吞吐量超过 50%。此外,我们还将介绍 Flink 社区在此领域的最新进展和未来计划。 苏轩楠
26日 4:45 pm - 5:15 pm ROOM 6 使用 Flink CDC 赋能实时数据集成 在数据速度和数量迅速增长的时代,Apache Flink 结合变更数据捕获(CDC)技术为实时数据集成提供了变革性的解决方案。本次演讲将深入探讨 Flink CDC 的架构和实现,重点介绍这种组合如何促进各行业间的实时数据同步、分析和决策。 任庆盛
27日 2:00 pm - 2:30 pm ROOM 6 字节跳动对 Flink SQL 性能优化的探索与实践 随着字节跳动内部对流处理任务需求的日益增长,Flink SQL 的大规模应用已经逐渐在多个部门中普及。在本次演讲中,我们将详细介绍字节跳动内部进行的主要优化及所取得的结果。 李精卫
27日 3:00 pm - 3:30 pm ROOM 6 货拉拉的 Apache Flink CDC 的实践与应用 Lalamove 和货拉拉(Huolala)是一个按需配送平台,其使命是通过让配送变得快速、简单和实惠,为社区赋能。我们在社区最新的 Apache Flink CDC 3.0 上进行了实践,并将其应用于生产环境中。目前运行着 100 多个任务,我们将分享在生产实践中遇到的挑战和问题,并回馈给社区。 Zheng Yu Chen
27日 4:15 pm - 4:45 pm ROOM 6 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 王胜杰
  • Apache Paimon
时间 地点 议题标题 主要介绍内容 讲师
26日 2:30 pm - 3:00 pm ROOM 5 Apache Paimon:用于流处理、批处理和联机分析处理的统一数据湖 1、Paimon 从实时更新开始,解决了 CDC 数据进入数据湖的核心问题。 2、Paimon 解决了大量的可用性问题,可以使用 Spark 构建离线数据仓库。 3、Paimon 提供了删除向量、Z-order 和索引等技术,以提供高性能的 OLAP 查询。 李劲松
26日 4:15 pm - 4:45 pm ROOM 8 Paimon Append 表的实践旨在进行高性能分析 作为一项新兴的数据湖项目,Apache Paimon 正处于快速发展阶段。大多数人通过其流式数据湖功能来认识 Paimon,特别是其主键表的部分更新和 LSM 树结构。但是 Paimon 的非主键表(主要通过批量分析)也在大力发展。本演讲将介绍 Paimon 中的附加表。 叶俊豪
27日 2:00 pm - 2:30 pm ROOM 5 基于 Apache Paimon 的中国联通流式 Lakehouse 的应用实践 本专题计划介绍中国联通基于 Apache Paimon 构建流式数据仓库的实践经验,主要包括中国联通的两个核心业务项目:实时用户标签和自然人。内容包括业务背景、流批量集成数据仓库架构、实践中遇到的问题及相应的解决方案、使用 Apache Paimon 解决问题所取得的收益以及未来的计划。 Yunpeng Wang, Zhenhao Li
27日 3:45 pm - 4:15 pm ROOM 6 Paimon x Spark:不仅仅是将数据摄入数据湖 这个主题将详细介绍 Paimon 和 Spark 的集成,包括功能的丰富、性能的提升、场景的扩展,以及与 Spark 原生引擎的集成。 Yan Bi
27日 4:15 pm - 4:45 pm ROOM 6 小米在使用 Paimon 进行 Flink 稳定性优化和业务效率提升方面的实践经验 这次分享主要介绍了小米在稳定性优化方面的一些优化措施,以及 Flink+Paimon 在帮助小米提高业务生产效率方面的案例分享。 王胜杰
27日 4:15 pm - 4:45 pm ROOM 5 Apache Paimon 数据湖架构的洞察和设计分析 在本演讲中,我将深入探讨 Apache Paimon 数据湖项目的核心实施细节。通过本次分享,参会者将深入了解 Apache Paimon 数据湖项目。 陈卓宇
28日 4:15 pm - 4:45 pm ROOM 8 Apache Paimon:从孵化器到顶级项目(TLP) 首先概述 Apache Paimon,并介绍 Paimon 如何帮助用户构建具有低延迟和高吞吐量的数据基础架构。作为 Apache Flink 社区的一个子项目,Paimon 曾有机会直接成为 Apache 的顶级项目。接下来,我们将讨论为什么我们选择经历孵化过程,如何逐步建立自己的路径成为顶级项目,我们从社区中获得了什么并回馈了什么,以及我们如何在 Apache 的方式下建立一个活跃多样的社区。最后,我们将总结本次会议,讨论 Apache Paimon 毕业后的路线图和未来发展,包括产品和社区两方面的展望。 翁才智
  • Apache Celeborn
时间 地点 议题标题 主要介绍内容 讲师
26日 2:00 pm - 2:30 pm ROOM 6 Apache Celeborn 社区进化与 Apache Flink Hybrid Shuffle 集成 在本次 Session 中,我们将分享这个先进的 shuffle 框架,重点介绍:1.Apache Celeborn 在不同引擎中的最新特性和未来路线图。2.Flink 在混合 shuffle 上与 Celeborn 的集成工作和未来计划。 郭伟杰 熊佳树
27日 3:00 pm - 3:30 pm ROOM 4 Apache Celeborn 在 Bilibili 的生产实践 1.介绍 Apache Celeborn 的最新功能 2.介绍 Apache Celeborn 在 Bilibili 上的最佳实践 3.提供 Apache Celeborn 在 Bilibili 上执行的简要概述 4.概述 Apache Celeborn 的未来实际计划 Nicholas Jiang
28日 2:00 pm - 2:30 pm ROOM 3 将 Apache Celeborn 和 Apache Gluten 集成以实现云原生 Shuffle 本次会议探讨了将 Apache Celeborn(孵化中)和 Apache Gluten(孵化中)进行集成的内容。Apache Celeborn 是一个新的孵化中的 Apache 项目,用于提供本地 SQL 引擎支持,而 Apache Gluten 则是一个用于处理 Shuffle 的孵化中的 Apache 项目。通过将这两个项目集成起来,可以增强 Apache Spark 在大数据计算环境中的性能。 Weiting Chen, Kai Zhang, Keyong Zhou
28日 4:45 pm - 5:15 pm ROOM 2 Apache Kyuubi、Celeborn 和 DolphinScheduler在 Cisco 中的实践应用 1、背景 2、Kyuubi(私有云和公有云)的实践应用 3、Kyuubi 与 DolphinScheduler 的集成 4、Kyuubi 与 Celeborn 的集成 He Zhao, Pengqli Li

开源集市

欢迎各位大数据开发者来开源市集上的 Apache Paimon 及 Apache Celeborn 展台,与项目的Committer们面对面交流心得。这不仅是一场技术的盛宴,更是一次心与心连接的宝贵机会,而且还有机会赢取我们精心准备的项目定制小礼品,让这份技术之旅留下温馨的纪念。期待在美好的一天里,与您相聚在这个充满活力与创意的空间,共同编织知识的网,不见不散哟!

参会报名

感兴趣参加的各位开发者,请扫描下方二维码完成参会报名~

欢迎您的加入,让我们在技术的浩瀚星海中,携手航行,共创辉煌!


更多内容

img


活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动:
新用户复制点击下方链接或者扫描二维码即可0元免费试用 Flink + Paimon
实时计算 Flink 版(3000CU*小时,3 个月内)
了解活动详情:https://free.aliyun.com/?utm_content=g_1000395379&productCode=sc

retouch_2024070417440476.jpg

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
14天前
|
人工智能 大数据 Apache
Flink Forward Asia 2024 即将盛大开幕!
Flink Forward Asia 2024是由Apache官方授权的技术大会,聚焦流式湖仓、流批一体、AI大模型等热点方向,旨在分享Flink社区最新动态及实践经验,是Flink开发者和使用者不容错过的盛会。大会不仅探讨了Flink在实时大数据分析中的应用,还深入讨论了Data+AI领域的新成果,如基于Flink和Elasticsearch的企业级高级RAG架构设计,展示了Flink在多模态数据处理、实时数据向量化等方面的强大能力。
|
1月前
|
SQL 流计算 关系型数据库
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上,提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据,提供湖仓数据表和文件的安全访问及IO加速,并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎,通过流式数据湖仓Paimon(使用DLF 2.0存储)和EMR StarRocks搭建流式湖仓。
354 4
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
|
3月前
|
人工智能 Apache 流计算
Flink Forward Asia 2024 上海站|探索实时计算新边界
Flink Forward Asia 2024 即将盛大开幕!11 月 29 至 30 日在上海举行,大会聚焦 Apache Flink 技术演进与未来规划,涵盖流式湖仓、流批一体、Data+AI 融合等前沿话题,提供近百场专业演讲。立即报名,共襄盛举!官网:https://asia.flink-forward.org/shanghai-2024/
889 33
Flink Forward Asia 2024 上海站|探索实时计算新边界
|
3月前
|
存储 数据采集 OLAP
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。
434 7
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
|
5月前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
18529 54
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
6月前
|
分布式计算 Serverless 调度
EMR Serverless Spark:结合实时计算 Flink 基于 Paimon 实现流批一体
本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程,包括数据入湖 OSS、交互式查询,以及离线Compact。Serverless Spark完全兼容Paimon,通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据互通,形成了完整的流批一体的解决方案。同时支持灵活的作业运行方式和参数配置,能够满足实时分析、生产调度等多项需求。
60822 107
|
5月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7866 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
4月前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
291 3
|
6月前
|
SQL 存储 NoSQL
贝壳找房基于Flink+Paimon进行全量数据实时分组排序的实践
本文投稿自贝壳家装数仓团队,在结合家装业务场景下所探索出的一种基于 Flink+Paimon 的排序方案。这种方案可以在实时环境对全量数据进行准确的分组排序,同时减少对内存资源的消耗。在这一方案中,引入了“事件时间分段”的概念,以避免 Flink State 中冗余数据对排序结果的干扰,在保证排序结果准确性的同时,减少了对内存的消耗。并且基于数据湖组件 Paimon 的聚合模型和 Audit Log 数据在数据湖内构建了拉链表,为排序结果提供了灵活的历史数据基础。
28800 8
贝壳找房基于Flink+Paimon进行全量数据实时分组排序的实践
|
4月前
|
机器学习/深度学习 监控 大数据
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持

相关产品

  • 实时计算 Flink版
  • 下一篇
    DataWorks