25 亿条/秒消息处理!Flink 又双叒叕被 Apache 官方提名

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

摘要:Apache Flink 作为公认的新一代开源大数据计算引擎,可以支持流处理、批处理和机器学习等多种计算形态,也是 Apache 软件基金会和 GitHub 社区最为活跃的项目之一。

3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

随着 Flink 1.10 版本的发布,Blink 合并的正式完成,Flink 作业的整体性能及稳定性有了显著优化,越来越多的企业开始采用 Flink 用于生产环境。相信 Flink 的整体性能将随着社区发展、生态的完善不断取得新突破。

▼ 以下为博客原文翻译 ▼

2020 年 3 月 26 日,Apache 基金会(ASF)的全部志愿者、管理者以及孵化的 350 多个开源项目宣布其成立 21 周年。

为了履行为公众提供软件的使命,ASF 的志愿者社区从最初的 21 个负责 Apache HTTP 服务器研发的成员发展到 765 个成员、206 个 Apache 项目管理委员会和 7600 多位负责 300 个项目的提交者管理着 2 亿多行 Apache 代码(价值超过 200 亿美元)。

Apache 的突破性技术涉及现代计算的各个方面,为互联网提供大量支持,管理 EB 级数据,执行数兆次运算,并且几乎在每个行业中存储数万亿个对象。Apache 项目都是 100% 免费提供的,并且没有许可费用。

“在过去的二十年中,Apache 软件基金会一直是值得信赖的、以供应商为中心,社区主导的协作之家,” Apache 软件基金会执行副总裁 David Nalley 如是说。“如今,ASF 成为开源的先锋,孵化大大小小的项目,拥有世界一流的创新模式。”

Apache 之道

作为社区主导的组织,ASF 严格保持中立。它的独立性确保任何组织包括 ASF 发起人和为 Apache 项目贡献的组织都不能控制项目的方向或拥有任何特殊特权。

ASF 以社区为中心的开发过程称为“Apache 之道”,它指导现有项目及其社区,并继续激励来自世界各地的新一代创新。Apache 之道体现在:

  • 获得的权力:所有个人都有机会参与社区,比如对社区的贡献。
  • 同类社区:个人参加 ASF 获得的荣誉是永久的,并且不受就业情况或雇主的约束。
  • 开放式交流:与代码和决策制定有关的所有交流都可以公开访问,以确保 ASF 在全球分布的社区内可以异步协作。
  • 共识决策:Apache 项目由一支积极参与各自项目的自选志愿者组成的团队进行监督。
  • 负责任的监督:ASF 治理模式基于信任和委托监督。

Apache 之道一直是协作计算的先驱,并直接影响了将源代码和开放开发原则应用于组织内部的方法。Apache 之道已被无数组织采用,包括 Capital One、Comcast、爱立信、HP、IBM、Google、Microsoft、PayPal、SAP、T-Mobile 和许多其他组织。

ASF 对社区的关注与 Apache 精神息息相关, “社区高于代码”是坚定不移的宗旨。充满活力、多样化的社区可以使代码保持活力,但是,无论代码多好,如果没有社区的支持,代码就无法蓬勃生长。Apache 社区的成员在即将发行的 ASF 纪录片中分享了他们对“Why Apache”的看法。

ASF 纪录片:
https://s.apache.org/Trillions-teaser

Apache 大型项目应用

数十个企业级 Apache 项目定义了行业,并广泛应用于人工智能、深度学习、大数据、构建管理、云计算、内容管理、DevOps、IoT 和边缘计算、移动、服务器和 Web 框架等领域。没有其他软件基金会可以为如此广泛的项目提供服务。“由 Apache 提供支持”的应用程序示例包括:

  • 中国第二大快递公司 SF Express,在 COVID-19 冠状病毒期间使用 Apache SkyWalking 在全球范围内进行运输;
  • Apache Guacamole 的无客户端远程桌面网关可帮助全球成千上万的个人、企业和大学在家中安全地工作,而无需绑定到特定的设备、VPN 或客户端;
  • 阿里巴巴使用 Apache Flink 用于实时大屏和实时推荐,每秒消息处理超过 25 亿条
  • 欧洲航天局的木星航天器任务控制系统由 Apache Karaf、Apache Maven 和 Apache Groovy 提供支持;
  • 英国政府通信总部(GCHQ)的应用程序 Gaffer 使用 Apache Accumulo、Apache HBase 和 Apache Parquet 存储和管理 PB 级数据。
  • Netflix 使用 Apache Druid 管理其 1.5 万亿行数据仓库,以管理用户跨平台点击 Netflix 图标或从浏览器登录时看到的内容。
  • Uber 使用 Apache Hudi(孵化中)管理超过 100PB 数据的近实时数据湖,支持了从数仓到机器学习的所有功能;
  • 波士顿儿童医院使用 Apache cTAKES 将电子健康记录中的表型和基因组数据链接起来,以实现精确的健康发现;
  • 亚马逊、DataStax、IBM、微软、Neo4j、NBC Universal 和许多其他公司使用 Apache Tinkerpop 图形数据库中并编写复杂的遍历。
  • 全球生物多样性信息基金使用 Apache Beam、Hadoop、HBase、Lucene、Spark 等工具整合了近 1600 个机构、一百多万个生物多样性数据和近 1.4 亿个位置记录,供研究免费使用;
  • 欧盟委员会使用 Apache Camel 开发了新的 API 网关基础架构;
  • 中国电信公司翼支付使用 Apache ShardingSphere(孵化中)为分布在 30 多个应用程序中的移动支付扩展到 100 亿个数据集;
  • 苹果的 Siri 使用 Apache HBase 在 10 秒内完成全环复制;
  • 美国海军使用 Apache Rya 为智能无人机、自主小型机器人群、载人无人团队高级战术通信等提供动力;
  • 全世界数以亿计的网站都是由 Apache HTTP 服务器提供支持。

其他里程碑

除了 ASF 的 21 周年纪念,Apache 社区还庆祝以下项目的里程碑纪念日:

  • 25 周年 - Apache HTTP Server
  • 21 周年 - Apache OpenOffice (at the ASF since 2011)
  • 20 周年 - Apache mod_perl, Tcl, APR/Portable Runtime, Subversion (at the ASF since 2009)
  • 18 周年 - Apache DB, Incubator, Ant
  • 17 周年 - Apache Cocoon, James, Web Services, Maven, Logging Services
  • 16 周年 - Apache Gump, Portals, Struts, Geronimo, SpamAssassin, Xalan, XML Graphics
  • 15 周年 - Apache Lucene, Directory, MyFaces, Xerces, Tomcat

Apache 博客原文:
https://blogs.apache.org/foundation/entry/the-apache-software-foundation-celebrates2?from=singlemessage&isappinstalled=0

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
7天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
49 5
|
2天前
|
消息中间件 Oracle 关系型数据库
实时计算 Flink版操作报错合集之连接RabbitMQ时遇到Could not find any factory for identifier 'rabbitmq' that implements 'org.apache.flink.table.factories.DynamicTableFactory'错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
150 0
|
2天前
|
Kubernetes Oracle 关系型数据库
实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
2天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错合集之从hudi读数据,报错NoSuchMethodError:org.apache.hudi.format.cow.vector.reader.PaequetColumnarRowSplit.getRecord(),该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
2天前
|
Oracle 关系型数据库 Shell
实时计算 Flink版操作报错合集之遇到报错:Error: Could not find or load main class org.apache.flink.cdc.cli.CliFrontend,是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
7天前
|
数据采集 关系型数据库 MySQL
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
|
11天前
|
消息中间件 Kafka 数据处理
Apache Flink:流式数据处理的强大引擎
【6月更文挑战第8天】Apache Flink是开源的流处理框架,专注于高效、低延迟的无界和有界数据流处理。它提供统一编程模型,支持实时与批量数据。核心概念包括DataStreams、DataSets、时间语义和窗口操作。使用Flink涉及环境设置、数据源配置(如Kafka)、数据转换(如map、filter)、窗口聚合及数据输出。通过丰富API和灵活时间语义,Flink适于构建复杂流处理应用,在实时数据处理领域具有广阔前景。
|
2天前
|
消息中间件 Java 关系型数据库
实时计算 Flink版操作报错合集之从 PostgreSQL 读取数据并写入 Kafka 时,遇到 "initial slot snapshot too large" 的错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
210 0
|
2天前
|
存储 SQL 关系型数据库
实时计算 Flink版操作报错合集之按时间恢复时,报错:在尝试读取binlog时发现所需的binlog位置不再可用,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
170 0
|
2天前
|
监控 Oracle 关系型数据库
实时计算 Flink版操作报错合集之在配置连接时,添加了scan.startup.mode参数后,出现报错。是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
199 0

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多