官宣:计算中间件 Apache Linkis 正式毕业成为 Apache 顶级项目

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
注册配置 MSE Nacos/ZooKeeper,118元/月
性能测试 PTS,5000VUM额度
简介: 官宣:计算中间件 Apache Linkis 正式毕业成为 Apache 顶级项目

image.png

  Apache 软件基金会(ASF)孵化器于2022年12月03日,通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日,Apache 软件基金会官方宣布 Apache Linkis 顺利毕业,成为 Apache 顶级项目(TLP)。

image.png

image.png

以上截图来自 Apache 官网

原文链接:https://news.apache.org/found...

一、关于 Apache Linkis

Apache Linkis 计算中间件项目,是由微众银行大数据平台团队在2019年7月进行开源,并于2021年8月正式捐献给全球顶级开源社区 Apache 软件基金会(ASF),成为 ASF 孵化项目,在2022年12月03日通过孵化毕业投票。

Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用 Linkis 提供的 REST/JDBC/Shell 等标准接口,上层应用可以方便地连接访问 MySQL/Spark/Hive/Trino/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通,以及通过 REST 标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计算中间件,Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦,简化了复杂的网络调用关系,降低了整体复杂度,同时节约了整体开发和维护成本。


image.png

自开源以来,开源社区群用户总数超 7600人,沙箱累计试用公司超 2600家,收到超过 110家企业已投入生产的反馈,生产环境支撑的数据量超 400PB,生产服务的用户超 5000人,涉及金融、电信、制造、互联网等多个行业。许多公司已经用 Linkis 来解决大数据平台连通、扩展、管控、编排等计算治理问题

在一年多的孵化期间,Apache Linkis 由社区开发者主导发布了7个 Apache 版本,平均约两个月就会发布一个版本;新加入了4个 PPMC成员 和13个 Committers,来自不同的公司和团队,贡献人数达到127人。Apache Linkis 社区各项指标发展良好,项目已经趋于成熟, Apache Linkis 顺利通过 ASF 孵化器项目管理委员会的毕业评估和投票,并得到ASF董事会批准,毕业晋升为 Apache 基金会顶级项目。

二、Apache Linkis 的核心功能点以及 Roadmap

通过使用 Linkis,上层应用工具如批量系统可以把 Linkis 作为统一的网关或者 JobServer 来提交批量任务;数据分析工具可以利用 Linkis 的交互式任务的能力实时获取日志、结果集、进度信息等能力。集成了 Linkis 的工具可以做到互联互通,在不同的工具中可以使用同一个定义的 UDF、数据源、物料等。

接入了 Linkis 的上层应用工具都可以拥有以下核心功能特性:

  • 丰富的底层计算存储引擎支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;
  • 丰富的语言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;
  • 强大的计算治理能力:能够提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力;
  • 全栈计算存储引擎架构支持:能够接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务;
  • 统一上下文服务:支持跨用户、系统、计算引擎去关联管理用户和系统的资源文件(JAR、ZIP、Properties 等),结果集、参数变量、函数、UDF 等,一处设置,处处自动引用;
  • 统一物料:提供了系统和用户级物料管理,可分享和流转,跨用户、跨系统共享物料;
  • 统一数据源管理:提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等类型数据源信息的增删查改、版本控制、连接测试和对应数据源的元数据信息查询能力;
  • 错误码能力:提供了任务常见错误的错误码和解决方案,方便用户自助定位问题;

从孵化器毕业也证明了 Linkis 项目和社区进一步走向成熟,但是要成为一个世界顶级的计算中间件项目还有很多的事情要做。Linkis 社区整理了一份 Roadmap ,欢迎大家参与一起贡献。部分重大特性如下:

image.png

三、Apache Linkis 生态

Linkis 作为计算中间件,也积极推动与多个开源社区的项目进行集成,以丰富 Linkis 的生态。下图是部分已经与 Linkis 集成的开源项目,涵盖了数据分析、工作流、数据交换、数据质量、机器学习、以及常用的计算和存储引擎等。上层应用工具通过 Linkis 提交和管理各类引擎的任务,把 Linkis 当成了一个开发基座。极大地降低了上层应用工具在连通、扩展、管控等计算治理方面的开发工作量,让上层应用工具只需专注于其自身的功能性需求。

image.png

未来我们也将进一步引导和推动更多的上层工具系统和底层引擎,去与 Linkis 对接集成,丰富 Linkis 的生态。欢迎越来越多的项目参与其中。

四、毕业寄语(按姓氏首字母排序)

恭喜 Apache Linkis 顺利毕业!一路走来,我有幸见证了 Linkis 社区的发展壮大,在开源大数据领域的影响力也与日俱增。希望 Apache Linkis 未来发展的越来越好,成为更有影响力的世界级开源项目!

—— 堵俊平

Apache Linkis ChampionApache

软件基金会 Member

开放原子开源基金会TOC 主席

Linkis 社区发展的非常繁荣,恭喜 Linkis 顺利从 Apache 孵化器毕业成为顶级项目,作为大数据领域优秀的计算中间件, Linkis 使得用户可以更加方便的通过 REST/JDBC 等标准接口来访问 Spark、Flink 等底层引擎。毕业是一段新旅程的开始,期待 Linkis 能发展得更好!

—— 代立冬

Apache Linkis MentorApache

软件基金会 Member

Apache DolphinScheduler PMC Chair

感谢社区每一位成员的热情和贡献!我们通过对 "Apache Way" 的持续践行,形成了一个多样、有序,且能够推动项目不断进化的、富有生命力的社区。毕业只是新征程的开始,期待与大家一起,继续增强 Linkis 在连通、管控、编排、复用等数据平台计算治理方面能力,让大数据变得更简单。

—— 邸帅

Apache Linkis PMC Chair

微众银行大数据平台负责人

祝贺 Apache Linkis 从 ASF 孵化器中毕业成为 Apache 顶级项目。作为 Apache 孵化器导师,非常高兴能够看到 Apache Linkis 能够依托项目用户和开发者构建起健康发展的社群,并很好地践行 Apache Way。祝愿 Apache Linkis 茁壮成长,并与其他 Apache 大数据项目一同打造更加繁荣的开源大数据技术生态

—— 姜宁

Apache 软件基金会董事

Apache ServiceComb Chair

很高兴看到,从微众蹒跚起步的计算中间件 Linkis,能够通过开源,在 Apache Way 的指引和社区伙伴的共同培育下快速成长,走进各行各业,服务千百企业,并顺利毕业成为 Apache 顶级项目。期望 Linkis 能够继续茁壮成长,在大数据开源领域能够发挥更大的价值。也期待更多的社区伙伴的参与,并涌现出更多优秀的开源项目,为基础软件开源的发展继续添砖加瓦。

—— 卢道和

微众银行基础科技产品部负责人

恭贺 Apache Linkis 在 2022 年终岁末时,为源自中国的 Apache 顶级项目再添一员强将(总共 20 个项目)。祝愿 Apache Linkis 计算治理的征程顺利开展,兼容并蓄的社区持续拓展!

—— 刘天栋

Apache 软件基金会 Member

开源社联合创始人

衷心祝贺 Linkis 成功从 Apache 孵化器中毕业,成为 Apache 顶级项目。作为微众银行主导开源和捐赠的优秀项目,计算中间件 Apache Linkis 经过金融级生产环境的持续打磨,和社区各行业贡献者的共同建设完善,已成为解决大数据平台计算治理问题的利器。未来,微众银行将一如既往支持开源社区建设,助力我国为全球基础软件的发展贡献关键力量。

—— 马智涛

微众银行副行长兼首席信息官

作为 Apache Linkis 的重度用户,非常高兴看到它从 Apache 毕业,在这里表示由衷的祝福。我们从2020年开始关注并尝试在业务上使用它,目前已将大部分底层业务迁移到 Linkis 上管理。在此过程中得到了社区伙伴给与的大力支持,也贡献了自己的一份力量。毕业不是结束,是新的开始,还有很多工作等着我们去做。希望未来和社区伙伴一起将 Apache Linkis 做的更强大更完善。

—— 聂磊

Apache Linkis Contributor

理想汽车大数据架构师

Apache Linkis 是2019年由微众银行开源并贡献给 Apache 软件基金会的一个大数据项目,Linkis 自开源之后,在业界引起了广泛关注。更难能可贵的是,围绕 Linkis 项目而形成的开发者社区非常活跃,目前已经有 23 位项目管理委员会成员、33 位代码 Committer 及超过127 位 Contributor,他们来自不同的地区和组织,自发地参与在项目中开发新特性、回答用户问题、修复 bug、发布版本等,呈现出良好的多样性和可持续性。在 2022 年 12月,Linkis 项目通过了 Apache 孵化器的项目成熟度评估以及投票,毕业成为又一个 Apache 顶级项目。对 Linkis 来说,毕业不是终点,而只是一个里程碑。在 2023 年,希望 Linkis 社区能够继续秉承 The Apache Way 的理念,以 Community Over Code 的精神吸纳更多的用户和开发者,持续发展和壮大开源软件项目,使其最终能够惠及更多企业和个人用户。

—— 史少锋

Apache Linkis Mentor

Apache 软件基金会 Member

Apache Kylin PMC Chair

很高兴看到微众银行捐献给 Apache 开源软件基金会的 Linkis 项目毕业成为 Apache 基金会的顶级项目。这证明项目发起人充分理解 Apache 基金会的价值观 Community Over Code,并遵循 Apache 社区的开放、透明、贤能治理的规则进行长期运作,社区成熟度得到了 Apache 软件基金会孵化委员会的一致认可。恭喜 Linkis 项目和团队,给大数据技术生态提供了一个值得长期信任的好项目,通过计算中间件将应用层和引擎层解耦,使得上层大数据应用编写更简单,更快速。

—— 谭中意

Apache 软件基金会 Member

中国开源推进联盟副秘书

开放原子开源基金会 TOC 副主席

热烈庆祝 Linkis 从 Apache 孵化器毕业!Liniks 是一个 Hadoop 及相关生态圈“数据库”的计算中间件,是一个非常有意思而且很有价值的项目,在此,衷心祝愿 Apache LInkis 项目和社区发展越来越好!

—— 王华磊

Apache Linkis Contributor

邮储银行数据管理部副主任工程师

作为 Linkis 的用户和开发者,非常荣幸见证了 Linkis 从开源,到 Apache 孵化,再到最终的毕业,真的很不容易,也见证了中国开源力量的崛起。随着越来越多小伙伴的贡献, Linkis 已经越来越标准稳定了,期待更多小伙伴们加入有爱的 Linkis 社区,一起将社区建设得更好。

—— 王小刚

Apache Linkis PMC Member

天翼云 大数据开发工程师

作为项目的 Mentor,非常高兴看到 Apache Linkis 成功毕业,成为 Apache 顶级项目。Apache Linkis 的社区非常活跃,在孵化期间,始终维持着两个月一次的发版节奏,这在所有孵化项目中都非常难得,说明项目的参与人员都很活跃,且尽职尽责。祝 Apache Linkis 项目未来越来越好!

—— 张铎

Apache Linkis MentorApache

软件基金会Member

Apache HBase PMC Chair

恭喜 Apache Linkis 从 Apache 毕业!我们从2021年开始关注并尝试应用于某些业务上,目前已有部分业务运行于 Linkis 上,现正着手于其它业务的迁移工作。非常感谢社区各位伙伴的耐心和帮助!成为顶级项目并不是结束,而是一个开始,衷心希望 Linkis 在未来得到更好的发展,并且帮助到更多的企业去构建大数据平台。

—— 张华金

Apache Linkis PMC Member

广州银行信用卡中心高级需求分析师

作为 Apache Linkis 最早投入到生产环境的忠实用户和开发者,非常开心见证了 Linkis 一步一步发展壮大,很荣幸能够为社区贡献一点绵薄之力。祝愿 Apache Linkis 社区发展越来越好,为大数据平台化贡献更大的价值,希望大家参与进来一起将 Linkis 建设得更好!

—— 朱辉

Apache Linkis PMC Member

BOSS直聘数据中台负责人

祝贺 Linkis 经过16个月的孵化,顺利从 Apache 孵化器毕业成为顶级项目。在孵化过程中,Linkis 社区始终遵循 Apache Way,采用开放、透明、包容的治理体系,建立了非常繁荣且多元化的开源社区。祝贺 Linkis 社区所有的贡献者和参与者,也祝愿 Linkis 开源项目能够发展越来越好!

—— 钟燕清

微众银行开源管理办公室负责人

五、期待你的加入

从 Apache 孵化器毕业只是一个开始,对于成为真正的顶级开源项目只是迈出了第一步。Linkis 社区将继续践行 Apache 的开源文化主旨,打造一个更加协作、开放、多元的社区。欢迎更多的组织和个人参与到 Apache Linkis 的建设中来,促进 Linkis 社区持续健康地发展。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
关系型数据库 MySQL 应用服务中间件
win7系统搭建PHP+Mysql+Apache环境+部署ecshop项目
这篇文章介绍了如何在Windows 7系统上搭建PHP、MySQL和Apache环境,并部署ECShop项目,包括安装配置步骤、解决常见问题以及使用XAMPP集成环境的替代方案。
55 1
win7系统搭建PHP+Mysql+Apache环境+部署ecshop项目
|
2月前
|
Apache
多应用模式下,忽略项目的入口文件,重写Apache规则
本文介绍了在多应用模式下,如何通过编辑Apache的.htaccess文件来重写URL规则,从而实现忽略项目入口文件index.php进行访问的方法。
|
3月前
|
Java 应用服务中间件 Apache
使用IDEA修改Web项目访问路径,以及解决Apache Tomcat控制台中文乱码问题
本文介绍了在IntelliJ IDEA中修改Web项目访问路径的步骤,包括修改项目、模块、Artifacts的配置,编辑Tomcat服务器设置,以及解决Apache Tomcat控制台中文乱码问题的方法。
207 0
使用IDEA修改Web项目访问路径,以及解决Apache Tomcat控制台中文乱码问题
|
4月前
|
SQL 存储 关系型数据库
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
数字化转型的浪潮中,高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库,实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍,为智能化、高效化转型指明了方向。
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
|
4月前
|
JSON 中间件 数据处理
实践出真知:通过项目学习Python Web框架的路由与中间件设计
【7月更文挑战第19天】探索Python Web开发,掌握Flask或Django的关键在于理解路由和中间件。路由连接URL与功能,如Flask中@app.route()定义请求响应路径。中间件在请求处理前后执行,提供扩展功能,如日志、认证。通过实践项目,不仅学习理论,还能提升构建高效Web应用的能力。示例代码展示路由定义及模拟中间件行为,强调动手实践的重要性。
56 1
|
3月前
|
关系型数据库 Linux 网络安全
"Linux系统实战:从零开始部署Apache+PHP Web项目,轻松搭建您的在线应用"
【8月更文挑战第9天】Linux作为服务器操作系统,凭借其稳定性和安全性成为部署Web项目的优选平台。本文以Apache Web服务器和PHP项目为例,介绍部署流程。首先,通过包管理器安装Apache与PHP;接着创建项目目录,并上传项目文件至该目录;根据需要配置Apache虚拟主机;最后重启Apache服务并测试项目。确保防火墙允许HTTP流量,正确配置数据库连接,并定期更新系统以维持安全。随着项目复杂度提升,进一步学习高级配置将变得必要。
329 0
|
6月前
|
消息中间件 Java 数据安全/隐私保护
Spring Cloud 项目中实现推送消息到 RabbitMQ 消息中间件
Spring Cloud 项目中实现推送消息到 RabbitMQ 消息中间件
|
28天前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
576 13
Apache Flink 2.0-preview released
|
1月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
63 3
|
2月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。

推荐镜像

更多