Apache Flink 邀您共度「2022开源之夏」,成为开源新星

简介: 开源项目资深维护者(社区导师)亲自指导,用 3 个月的时间感受开源技术共建的魅力,完成项目并贡献给社区后,还将获得活动奖金和结项证书。

O1CN01kfdAMd1WeOtHOAdfQ_!!6000000002813-2-tps-709-1063.png

活动介绍

开源之夏是由 “开源软件供应链点亮计划” 发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展,同时培养和发掘更多优秀的开发者。

开源之夏活动联合了包括 Apache Flink 在内的国内外各大开源社区,针对重要开源软件的开发与维护提供项目任务,并面向全球高校学生开放报名。学生可在本活动中自主选择感兴趣的项目任务进行申请,并在中选后获得该开源项目资深维护者(社区导师)的亲自指导,通过 3 个月的时间,深度体验真实世界的软件开发,感受开源技术共建的魅力。完成项目并贡献给社区后,参与学生还将获得开源之夏活动奖金和结项证书。

开源之夏活动官网:https://summer-ospp.ac.cn/

社区介绍

Apache Flink 是一款高性能分布式流批一体计算引擎,支持流处理、批处理、复杂事件处理、机器学习等计算场景。在流计算场景,Apache Flink 一直在业界保持着领先地位。在开源方面,Flink 已连续三年蝉联 Apache 基金会最活跃开源项目之一的殊荣,有超过 1000 名遍布全球的贡献者为 Flink 贡献。作为流计算领域的首选引擎,Apache Flink 已经被众多国内外知名公司采用,并逐渐成为企业大数据的核心基础设施,包括 Apple、Netflix、Amazon、Uber、Cloudera、LinkedIn、阿里巴巴、滴滴、美团、快手、字节跳动等公司。

项目介绍

Apache Flink 在本次 “开源之夏” 活动中共发布了 3 个课题,供感兴趣的同学报名参与。

项目 1:Flink Table Store 预聚合存储模型

项目描述:

Flink Table Store 是一个流批统一的存储,用于在 Flink 中为流批处理建立动态表,支持实时流消费和实时 OLAP 查询。Flink Table Store 面向更新场景提供 OLAP 的能力,大量更新数据写入 Table Store 后,后台会合并相同主键的数据,默认是保留最后一条。我们可以引入更丰富的合并策略,其中已经引入的是 PartialUpdateMergeFunction,合并时补全非 NULL 字段。我们可以引入更强大的合并策略,比如支持预聚合的合并。

项目产出:

  • 完成该功能的开发,并贡献到 Flink Table Store 社区;
  • 完成预聚合的 API 设计;
  • 完成预聚合的 E2E 测试;
  • 实现多个聚合算子;
  • (可选) 实现 MATERIALIZED VIEW 语法。

技能要求:Java、存储相关知识

项目仓库:https://github.com/apache/flink-table-store

项目导师:李劲松 lzljs3620320@apache.org

项目难度:基础

项目 2:面向 MySQL CDC 连接器的数据限流功能

项目描述:

目前 Flink 的 Source 原生不支持限流,基于 Flink Source 的 CDC 连接器也无法实现限流功能,当多并发从上游数据库读取数据时存在源库负载大的风险,本项目通过在 Flink Source上提供限流功能,CDC 连接器适配后,实现读取数据时的限流。

项目产出:

学习 Flink CDC 技术原理,在开源社区设计并实现通用的 CDC 数据源限流方案,提升 Flink CDC 在大规模数据业务场景下的稳定性。

  • 在 Flink 社区 完成 Source 数据限流 API 设计,获得社区认可;
  • 基于限流 API,在 Flink CDC 社区实现 MySQL CDC 数据限流功能;
  • 增加端到端测试,验证数据限流能正确生效。

技能要求:Java、数据集成相关知识

项目仓库:https://github.com/ververica/flink-cdc-connectors

项目导师:徐榜江 leonard@apache.org

项目难度:基础

项目 3:设计并开发实现 Flink JobManager 进程拆分方案

项目描述:

Flink 目前采用一个 JobManager + 多个 TaskManager 的进程模型,其中 JobManager 进程中又包含了 Dispatcher、ResourceManager、JobMasters 等多个组件。这一进程模型在部分特殊场景下存在一些问题,例如在组成超大规模集群时存在单点可用性及性能瓶颈、在 IoT 嵌入式设备上使用时资源开销过大等。请针对这些问题,对 Flink 的进程模型进行优化改造。

项目产出:

  • 基础要求:设计并开发实现 Flink JobManager 进程拆分方案,并贡献社区;
  • 进阶要求 (可选):Flink JobManager 进程拆分方案下,Dispatcher、ResourceManager 故障作业无需重启;
  • 进阶要求 (可选):设计并开发实现 Flink 单进程模式,并贡献社区。

技能要求:Java、分布式协调机制、高可用机制

项目仓库:https://github.com/apache/flink

项目导师:宋辛童 xtsong@apache.org

项目难度:进阶

如何参与

1. 申请资格

  • 本活动面向年满 18 周岁在校学生;
  • 暑期即将毕业的学生,只要在申请时学生证处在有效期内,就可以提交申请;
  • 海外学生可提供录取通知书、学生卡、在读证明等文件用于证明学生身份。

2. 参与流程

有意向参与的同学请注意不要错过 5 月 21 日 ~ 6 月 4 日的项目申请书的投递时间。

O1CN01PBptMq1m3KgaLif2O_!!6000000004898-2-tps-922-1614.png

3. 参与建议

O1CN01audMIT27Al2HMnfTF_!!6000000007757-0-tps-1056-1371.jpg


Flink CDC Meetup · Online

O1CN01yaX99t1HxtVhJJwGU_!!6000000000825-2-tps-2300-1000.png"

时间:5 月 21 日 9:00-12:25

PC 端直播观看:https://developer.aliyun.com/live/248997

移动端建议微信扫一扫关注 ApacheFlink 视频号预约观看:

O1CN01u6QYdB1YoawEPGHLm_!!6000000003106-2-tps-1000-500.png

更多 Flink 相关技术问题,可扫码加入社区钉钉交流群
第一时间获取最新技术文章和社区动态,请关注公众号~

O1CN01tmtpiy1iazJYZdixL_!!6000000004430-2-tps-899-548.png"

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:
99 元试用 实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制卫衣;另包 3 个月及以上还有 85 折优惠!
了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
6月前
|
存储 运维 Cloud Native
Apache Doris 与 ClickHouse:运维与开源闭源对比
Doris 与 ClickHouse 各有优势,但在运维效率、集群自动化能力、故障恢复机制以及开源治理模型方面,Doris 展现出了更成熟、更开放、更面向云原生架构的产品能力。对于希望构建可控、弹性、高可用分析平台的团队而言,Doris 提供了一个更具确定性和长期价值的选择。而 ClickHouse 仍是极具性能优势的分析引擎,但其闭源方向的转变可能需要用户在技术与商业之间做出更谨慎的权衡。
868 9
Apache Doris 与 ClickHouse:运维与开源闭源对比
|
6月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
1144 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
561 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
6月前
|
消息中间件 人工智能 Apache
2025 OSCAR丨与创新者同频!Apache RocketMQ 邀您共赴开源之约
10 月 28 日,阿里云高级技术专家周礼分享如何基于 Apache RocketMQ 新特性构建异步化 Multi-Agent 系统。
236 47
|
7月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
2594 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
8月前
|
消息中间件 存储 Kafka
Apache Flink错误处理实战手册:2年生产环境调试经验总结
本文由 Ververica 客户成功经理 Naci Simsek 撰写,基于其在多个行业 Flink 项目中的实战经验,总结了 Apache Flink 生产环境中常见的三大典型问题及其解决方案。内容涵盖 Kafka 连接器迁移导致的状态管理问题、任务槽负载不均问题以及 Kryo 序列化引发的性能陷阱,旨在帮助企业开发者避免常见误区,提升实时流处理系统的稳定性与性能。
695 0
Apache Flink错误处理实战手册:2年生产环境调试经验总结
|
8月前
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
757 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
4344 74
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多