官宣!流计算开发管理框架 StreamPark 成功进入 Apache 孵化器

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 官宣!流计算开发管理框架 StreamPark 成功进入 Apache 孵化器

StreamPark[1] 在 9 月 1 号顺利通过投票,正式成为全球最大的开源基金会 Apache 软件基金会 (ASF) 的孵化项目。这是 StreamPark 项目的新起点,意味着开源社区化协作将会变得更加规范以及国际化。




什么是 StreamPark


StreamPark 原名 StreamX,是一个简单易用的流处理应用开发框架和操作管理平台。于 2019 年由个人组织 streamxhub 创建,并于 2021年 4月在 GitHub 上开源,2022 年 8 月改名为 StreamPark。StreamPark 初衷是让流处理更简单,在实时处理领域 Apache Spark 和 Apache Flink 是一个伟大的进步,尤其是 Apache Flink 被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink & Spark 时发现从编程模型, 参数配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 — StreamPark , 其规范了项目的配置, 鼓励函数式编程, 定义了最佳的编程方式, 提供了一系列开箱即用的 Connectors , 提供了一套快速开发的脚手架, 使用 StreamPark 开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务。另一方面,在实时作业部署管理方面, 没有针对 Flink & Spark 作业的专业管理平台,这是企业在实践中会遇到的一道坎。StreamPark 提供专业的作业管理平台,包括但不限于 作业开发、调试、交互查询、部署、操作、运维等。目前 StreamPark 只支持 Apache Flink 和 Apache Spark, 后续计划支持更多引擎


StreamPark 发展现状



目前 StreamPark 已初步建立起了一个小型社区, 自开源以来累计发版 10 余次, Github Star 2K, 累计下载次数 5.6 K, 累计开发者共计 66 位, 项目一直处于活跃更新状态, 由衷感谢每位贡献者的努力和付出。

目前公开登记使用的用户
[2] 共计 30 余家, 有: inmobi, 自如, 永辉超市, 圆通速递, 天翼云, 联通, 腾讯 等, 不少公司已经大规模投入生产使用, 并写了生产实践的文章, 详情可查看往期生产实践相关文章

开发者墙


Contributor Over Time





为什么加入 ASF 孵化器



StreamPark 加入 ASF 孵化器主要是基于以下几个原因:

  • 本身就是 ASF 大数据开源项目的生态项目,期待成为 ASF 正式一员。
  • 在成熟开源基金会的指导下, 让 StreamPark 开源项目协作和运营都更加规范。
  • 建立更加繁荣和多样化的开发者社区, 我们希望可以吸引更多优秀的海内外开发者加入, 让开发者社区更加多样化。

  • 通过参加 ASF 相关的技术会议, 吸引更多的开源开发者加入 StreamPark 社区。

接下来社区会在 ASF 孵化器导师的引导下, 遵从 “Community over Code” 的理念来管理和运营社区, 也让每个优秀贡献者都能够被看见。



  导 师 介 绍  



  • @tison (Champion) : ASF Member, Apache Curator PMC Member, Apache Flink Committer, ASF 孵化器导师, 公众号《夜天之书》[3] 作者
  • @姜宁 : ASF Member, ASF 董事, ASF 孵化器导师, Apache Beijing Local Community[4] 发起人
  • @张铎 : ASF Member, Apache HBase PMC Chair, ASF 孵化器导师
  • @Stephan Ewen : ASF Member, Apache Flink 原始核心作者, Apache Flink 原 PMC Chair, ASF 孵化器导师
  • @Thomas Weise : ASF Member, Apache Flink/Beam/Hudi PMC Member, ASF 孵化器导师




  特 别 感 谢  




感谢项目的 Champion @tison, 在项目进入 ASF 孵化器的过程中给予了无私的帮助和指导, 主导了项目从 Proposal 起草阶段到讨论再到发起投票整个过程, 给了很多专业的建议和指导


感谢导师 @姜宁 @张铎 给予了项目在合规和流程推进上的专业指导和大力帮助


感谢导师@tison@姜宁@张@Stephan Ewen@Thomas Weise 有了各位导师无私的帮助, StreamPark 在进入孵化器的过程更加顺利。未来在各位导师的指导下社区一定逐步变得更加规范和国际化。

感谢两位 Apache IPMC 导师 @吴晟 @柯振旭 和 Apache Doris Chair @陈明雨 在中间过程中也给到不少帮助和支持, 感谢 @王志鹏 @张迪 在此过程中给予的帮助和支持。



  加 入 我 们  




进入 Apache 孵化器意味着 StreamPark 距离成为顶级的开源社区产品更近一步, 也是万里长征的第一步, 我们必须时刻保持开发者谦逊朴素的本质, 认真学习和遵循「The Apache Way」, 秉承更加兼容并包的心态, 迎接更多的机遇与挑战。我们诚挚欢迎更多的贡献者参与到社区建设中来


项目地址

https://github.com/apache/incubator-streampark


提交问题和建议:

https://github.com/apache/incubator-streampark/issues


贡献代码:

https://github.com/apache/incubator-streampark/pulls


订阅社区开发邮件列表 :

dev@streampark.apache.org [5]


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
4月前
|
存储 数据挖掘 数据处理
Apache Paimon 是一款高性能的数据湖框架,支持流式和批处理,适用于实时数据分析
【10月更文挑战第8天】随着数据湖技术的发展,越来越多企业开始利用这一技术优化数据处理。Apache Paimon 是一款高性能的数据湖框架,支持流式和批处理,适用于实时数据分析。本文分享了巴别时代在构建基于 Paimon 的 Streaming Lakehouse 的探索和实践经验,包括示例代码和实际应用中的优势与挑战。
166 1
|
6月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
当今社会,物联网技术的发展带来了许多繁琐的挑战,尤其是在数据库管理系统领域,比如实时整合海量数据、处理流中的事件以及处理数据的安全性。例如,应用于智能城市的基于物联网的交通传感器可以实时生成大量的交通数据。据估计,未来5年,物联网设备的数量将达数万亿。物联网产生大量的数据,包括流数据、时间序列数据、RFID数据、传感数据等。要有效地管理这些数据,就需要使用数据库。数据库在充分处理物联网数据方面扮演着非常重要的角色。因此,适当的数据库与适当的平台同等重要。由于物联网在世界上不同的环境中运行,选择合适的数据库变得非常重要。 原创文字,IoTDB 社区可进行使用与传播 一、什么是IoTDB 我
234 9
Apache IoTDB进行IoT相关开发实践
|
4月前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink:实时数据流处理的强大框架
在数据驱动时代,企业需高效处理实时数据流。Apache Flink作为开源流处理框架,以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景,包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域,Flink均展现出巨大潜力,是企业实时数据处理的理想选择。随着大数据需求增长,Flink将继续在数据处理领域发挥重要作用。
361 0
|
6月前
|
SQL API Apache
官宣|Apache Flink 1.20 发布公告
Apache Flink 1.20.0 已发布,这是迈向 Flink 2.0 的最后一个小版本,后者预计年底发布。此版本包含多项改进和新功能,涉及 13 个 FLIPs 和 300 多个问题解决。亮点包括引入物化表简化 ETL 管道开发,统一检查点文件合并机制减轻文件系统压力,以及 SQL 语法增强如支持 `DISTRIBUTED BY` 语句。此外,还进行了大量的配置项清理工作,为 Flink 2.0 铺平道路。这一版本得益于 142 位贡献者的共同努力,其中包括来自中国多家知名企业的开发者。
1274 7
官宣|Apache Flink 1.20 发布公告
|
5月前
|
前端开发 JavaScript Java
Apache Wicket 框架:踏上从新手到英雄的逆袭之路,成就你的编程传奇!
【9月更文挑战第4天】Apache Wicket是一款基于Java的开源Web应用框架,以简洁、易维护及强大功能著称。它采用组件化设计,让页面开发更为模块化。Wicket的简洁编程模型、丰富的组件库、良好的可维护性以及对Ajax的支持,使其成为高效开发Web应用的理想选择。下文将通过解析Wicket的基本概念与特性,帮助读者深入了解这一框架的优势。
235 1
|
7月前
|
关系型数据库 API Apache
Flink CDC:基于 Apache Flink 的流式数据集成框架
本文整理自阿里云 Flink SQL 团队研发工程师于喜千(yux)在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。
18611 11
Flink CDC:基于 Apache Flink 的流式数据集成框架
|
6月前
|
Java 持续交付 项目管理
Maven是一款基于Apache许可的项目管理和构建自动化工具,在Java开发中极为流行。
Maven是一款基于Apache许可的项目管理和构建自动化工具,在Java开发中极为流行。它采用项目对象模型(POM)来描述项目,简化构建流程。Maven提供依赖管理、标准构建生命周期、插件扩展等功能,支持多模块项目及版本控制。在Java Web开发中,Maven能够自动生成项目结构、管理依赖、自动化构建流程并运行多种插件任务,如代码质量检查和单元测试。遵循Maven的最佳实践,结合持续集成工具,可以显著提升开发效率和项目质量。
74 1
|
6月前
|
开发框架 Dubbo 应用服务中间件
微服务开发框架-----Apache Dubbo
这篇文章介绍了Apache Dubbo微服务开发框架,它提供RPC通信和微服务治理能力,支持服务发现、负载均衡和流量治理等功能,并强调了Dubbo在微服务规模化实践和企业级治理方面的优势。
微服务开发框架-----Apache Dubbo
|
7月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
IoTDB是专为物联网(IoT)设计的开源时间序列数据库,提供数据收集、存储、管理和分析。它支持高效的数据写入、查询,适用于处理大规模物联网数据,包括流数据、时间序列等。IoTDB采用轻量级架构,可与Hadoop和Spark集成,支持多种存储策略,确保数据安全和高可用性。此外,它还具有InfluxDB协议适配器,允许无缝迁移和兼容InfluxDB的API和查询语法,简化物联网项目的数据管理。随着物联网设备数量的快速增长,选择适合的数据库如IoTDB对于数据管理和分析至关重要。
308 12
|
6月前
|
Apache 开发者 Java
Apache Wicket揭秘:如何巧妙利用模型与表单机制,实现Web应用高效开发?
【8月更文挑战第31天】本文深入探讨了Apache Wicket的模型与表单处理机制。Wicket作为一个组件化的Java Web框架,提供了多种模型实现,如CompoundPropertyModel等,充当组件与数据间的桥梁。文章通过示例介绍了模型创建及使用方法,并详细讲解了表单组件、提交处理及验证机制,帮助开发者更好地理解如何利用Wicket构建高效、易维护的Web应用程序。
80 0

热门文章

最新文章

推荐镜像

更多