25 亿条/秒消息处理!Flink 又双叒叕被 Apache 官方提名

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

摘要:Apache Flink 作为公认的新一代开源大数据计算引擎,可以支持流处理、批处理和机器学习等多种计算形态,也是 Apache 软件基金会和 GitHub 社区最为活跃的项目之一。

3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

随着 Flink 1.10 版本的发布,Blink 合并的正式完成,Flink 作业的整体性能及稳定性有了显著优化,越来越多的企业开始采用 Flink 用于生产环境。相信 Flink 的整体性能将随着社区发展、生态的完善不断取得新突破。

▼ 以下为博客原文翻译 ▼

2020 年 3 月 26 日,Apache 基金会(ASF)的全部志愿者、管理者以及孵化的 350 多个开源项目宣布其成立 21 周年。

为了履行为公众提供软件的使命,ASF 的志愿者社区从最初的 21 个负责 Apache HTTP 服务器研发的成员发展到 765 个成员、206 个 Apache 项目管理委员会和 7600 多位负责 300 个项目的提交者管理着 2 亿多行 Apache 代码(价值超过 200 亿美元)。

Apache 的突破性技术涉及现代计算的各个方面,为互联网提供大量支持,管理 EB 级数据,执行数兆次运算,并且几乎在每个行业中存储数万亿个对象。Apache 项目都是 100% 免费提供的,并且没有许可费用。

“在过去的二十年中,Apache 软件基金会一直是值得信赖的、以供应商为中心,社区主导的协作之家,” Apache 软件基金会执行副总裁 David Nalley 如是说。“如今,ASF 成为开源的先锋,孵化大大小小的项目,拥有世界一流的创新模式。”

Apache 之道

作为社区主导的组织,ASF 严格保持中立。它的独立性确保任何组织包括 ASF 发起人和为 Apache 项目贡献的组织都不能控制项目的方向或拥有任何特殊特权。

ASF 以社区为中心的开发过程称为“Apache 之道”,它指导现有项目及其社区,并继续激励来自世界各地的新一代创新。Apache 之道体现在:

  • 获得的权力:所有个人都有机会参与社区,比如对社区的贡献。
  • 同类社区:个人参加 ASF 获得的荣誉是永久的,并且不受就业情况或雇主的约束。
  • 开放式交流:与代码和决策制定有关的所有交流都可以公开访问,以确保 ASF 在全球分布的社区内可以异步协作。
  • 共识决策:Apache 项目由一支积极参与各自项目的自选志愿者组成的团队进行监督。
  • 负责任的监督:ASF 治理模式基于信任和委托监督。

Apache 之道一直是协作计算的先驱,并直接影响了将源代码和开放开发原则应用于组织内部的方法。Apache 之道已被无数组织采用,包括 Capital One、Comcast、爱立信、HP、IBM、Google、Microsoft、PayPal、SAP、T-Mobile 和许多其他组织。

ASF 对社区的关注与 Apache 精神息息相关, “社区高于代码”是坚定不移的宗旨。充满活力、多样化的社区可以使代码保持活力,但是,无论代码多好,如果没有社区的支持,代码就无法蓬勃生长。Apache 社区的成员在即将发行的 ASF 纪录片中分享了他们对“Why Apache”的看法。

ASF 纪录片:
https://s.apache.org/Trillions-teaser

Apache 大型项目应用

数十个企业级 Apache 项目定义了行业,并广泛应用于人工智能、深度学习、大数据、构建管理、云计算、内容管理、DevOps、IoT 和边缘计算、移动、服务器和 Web 框架等领域。没有其他软件基金会可以为如此广泛的项目提供服务。“由 Apache 提供支持”的应用程序示例包括:

  • 中国第二大快递公司 SF Express,在 COVID-19 冠状病毒期间使用 Apache SkyWalking 在全球范围内进行运输;
  • Apache Guacamole 的无客户端远程桌面网关可帮助全球成千上万的个人、企业和大学在家中安全地工作,而无需绑定到特定的设备、VPN 或客户端;
  • 阿里巴巴使用 Apache Flink 用于实时大屏和实时推荐,每秒消息处理超过 25 亿条
  • 欧洲航天局的木星航天器任务控制系统由 Apache Karaf、Apache Maven 和 Apache Groovy 提供支持;
  • 英国政府通信总部(GCHQ)的应用程序 Gaffer 使用 Apache Accumulo、Apache HBase 和 Apache Parquet 存储和管理 PB 级数据。
  • Netflix 使用 Apache Druid 管理其 1.5 万亿行数据仓库,以管理用户跨平台点击 Netflix 图标或从浏览器登录时看到的内容。
  • Uber 使用 Apache Hudi(孵化中)管理超过 100PB 数据的近实时数据湖,支持了从数仓到机器学习的所有功能;
  • 波士顿儿童医院使用 Apache cTAKES 将电子健康记录中的表型和基因组数据链接起来,以实现精确的健康发现;
  • 亚马逊、DataStax、IBM、微软、Neo4j、NBC Universal 和许多其他公司使用 Apache Tinkerpop 图形数据库中并编写复杂的遍历。
  • 全球生物多样性信息基金使用 Apache Beam、Hadoop、HBase、Lucene、Spark 等工具整合了近 1600 个机构、一百多万个生物多样性数据和近 1.4 亿个位置记录,供研究免费使用;
  • 欧盟委员会使用 Apache Camel 开发了新的 API 网关基础架构;
  • 中国电信公司翼支付使用 Apache ShardingSphere(孵化中)为分布在 30 多个应用程序中的移动支付扩展到 100 亿个数据集;
  • 苹果的 Siri 使用 Apache HBase 在 10 秒内完成全环复制;
  • 美国海军使用 Apache Rya 为智能无人机、自主小型机器人群、载人无人团队高级战术通信等提供动力;
  • 全世界数以亿计的网站都是由 Apache HTTP 服务器提供支持。

其他里程碑

除了 ASF 的 21 周年纪念,Apache 社区还庆祝以下项目的里程碑纪念日:

  • 25 周年 - Apache HTTP Server
  • 21 周年 - Apache OpenOffice (at the ASF since 2011)
  • 20 周年 - Apache mod_perl, Tcl, APR/Portable Runtime, Subversion (at the ASF since 2009)
  • 18 周年 - Apache DB, Incubator, Ant
  • 17 周年 - Apache Cocoon, James, Web Services, Maven, Logging Services
  • 16 周年 - Apache Gump, Portals, Struts, Geronimo, SpamAssassin, Xalan, XML Graphics
  • 15 周年 - Apache Lucene, Directory, MyFaces, Xerces, Tomcat

Apache 博客原文:
https://blogs.apache.org/foundation/entry/the-apache-software-foundation-celebrates2?from=singlemessage&isappinstalled=0

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
4天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
241 33
The Past, Present and Future of Apache Flink
|
2月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
790 13
Apache Flink 2.0-preview released
|
2月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
88 3
|
3月前
|
消息中间件 资源调度 API
Apache Flink 流批融合技术介绍
本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享,内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一,但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略,自动适应不同场景需求。文章详细介绍了如何通过量化指标(如isProcessingBacklog和isInsertOnly)实现这一目标,并展示了针对不同场景的具体优化措施。此外,还概述了社区当前进展及未来规划,包括将优化方案推向Flink社区、动态调整算子流程结构等。
423 31
Apache Flink 流批融合技术介绍
|
2月前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
70 1
|
2月前
|
数据挖掘 物联网 数据处理
深入探讨Apache Flink:实时数据流处理的强大框架
在数据驱动时代,企业需高效处理实时数据流。Apache Flink作为开源流处理框架,以其高性能和灵活性成为首选平台。本文详细介绍Flink的核心特性和应用场景,包括实时流处理、强大的状态管理、灵活的窗口机制及批处理兼容性。无论在实时数据分析、金融服务、物联网还是广告技术领域,Flink均展现出巨大潜力,是企业实时数据处理的理想选择。随着大数据需求增长,Flink将继续在数据处理领域发挥重要作用。
139 0
|
2月前
|
消息中间件 druid Kafka
从Apache Flink到Kafka再到Druid的实时数据传输,用于分析/决策
从Apache Flink到Kafka再到Druid的实时数据传输,用于分析/决策
83 0
|
4月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
48 1
|
3月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
4月前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
280 2

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多