AI 助理
文档备案控制台
开发者社区 云原生 文章 正文

2月08日云栖精选夜读：权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

2018-02-08 4358
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

阿里巴巴需要研发世界级一流的流式计算引擎，实时处理海量数据，提供在线统计、学习和预测能力，不仅支持阿里巴巴自己的核心电商场景，同时也能通过阿里云向外部中小企业提供流式计算服务，输出实时计算能力，这就是我今天要分享的最新一代阿里巴巴实时计算引擎Blink。

热点热议

权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

作者：巴蜀真人

阿里容器调度系统Sigma仿真平台Cerebro揭秘

作者：云效平台

全面提升，阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比

作者：元乙

知识整理

Mybatis中的一对多及多对一举例

作者：天飞

Java 异常处理的 9 个最佳实践

作者：马达达

Nginx 教程 #3：SSL 设置

作者：马达达

Mybatis之动态SQL

作者：天飞

3 个可以替代 Emacs 和 Vim 的文本编辑器

作者：马达达

美文回顾

全面提升，阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比

作者：元乙

在线客服上线了？阿里云第10期贡献者荣誉榜见分晓

作者：仙游

阿里容器调度系统Sigma仿真平台Cerebro揭秘

作者：云效平台

Jarvis-拍立淘里面的深度学习引擎-之持续优化

作者：福瑞哈哥

Weex实战分享|企鹅电竞Weex实践和性能优化

作者：技术小能手

【对话科技】Flink技术介绍和新功能展望

作者：巴蜀真人

Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch

作者：巴蜀真人

往期精选回顾












文章标签：
实时计算 Flink版
容器服务Kubernetes版
容器
Java
开发工具
流计算
SQL
资源调度
Docker
Kubernetes
mybatis
数据库连接
关键词：
实时计算 Flink版计算
阿里实时计算 Flink版引擎
阿里实时计算 Flink版
实时计算 Flink版blink
实时计算 Flink版blink计算
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！ 欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
yq传送门
目录
相关文章
灵杰开发者
|
存储 消息中间件 Kafka
基于 Flink 的中国电信星海时空数据多引擎实时改造
本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享，围绕星海时空智能系统展开，涵盖四个核心部分：时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据，具备亚米级定位能力，通过Flink多引擎架构解决数据膨胀与响应时效等问题，优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知，未来将推进湖仓一体改造与三维时空服务体系建设，助力数字化转型与智慧城市建设。
灵杰开发者
1082 3
基于 Flink 的中国电信星海时空数据多引擎实时改造
灵杰开发者
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括：Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎，通过向量化技术和 C++ 实现，大幅提升了性能和成本效益。
灵杰开发者
4451 74
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
申某某
|
SQL 存储 大数据
Flink 基础详解：大数据处理的强大引擎
Apache Flink 是一个分布式流批一体化的开源平台，专为大规模数据处理设计。它支持实时流处理和批处理，具有高吞吐量、低延迟特性。Flink 提供统一的编程抽象，简化大数据应用开发，并在流处理方面表现卓越，广泛应用于实时监控、金融交易分析等场景。其架构包括 JobManager、TaskManager 和 Client，支持并行度、水位线、时间语义等基础属性。Flink 还提供了丰富的算子、状态管理和容错机制，如检查点和 Savepoint，确保作业的可靠性和一致性。此外，Flink 支持 SQL 查询和 CDC 功能，实现实时数据捕获与同步，广泛应用于数据仓库和实时数据分析领域。
申某某
11017 42
武子康
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
武子康
488 1
ZCOM
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性，状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍，资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能，支持多语言开发和智能调优。安全方面，具备访问控制、高可用保障和全链路容错能力，确保企业级应用的安全与稳定。
ZCOM
327 0
三分钟热度的鱼
|
关系型数据库 MySQL 网络安全
实时计算 Flink版操作报错合集之Debezium引擎因为其他错误而关闭，导致无法检索到引擎的schema历史记录，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
三分钟热度的鱼
519 1
土木林森
|
Java Spring 安全
Spring 框架邂逅 OAuth2：解锁现代应用安全认证的秘密武器，你准备好迎接变革了吗？
【8月更文挑战第31天】现代化应用的安全性至关重要，OAuth2 作为实现认证和授权的标准协议之一，被广泛采用。Spring 框架通过 Spring Security 提供了强大的 OAuth2 支持，简化了集成过程。本文将通过问答形式详细介绍如何在 Spring 应用中集成 OAuth2，包括 OAuth2 的基本概念、集成步骤及资源服务器保护方法。首先，需要在项目中添加 `spring-security-oauth2-client` 和 `spring-security-oauth2-resource-server` 依赖。
土木林森
544 0
土木林森
|
消息中间件 数据挖掘 Kafka
揭秘大数据时代的极速王者！Flink：颠覆性流处理引擎，让实时数据分析燃爆你的想象力！
【8月更文挑战第29天】Apache Flink 是一个高性能的分布式流处理框架，适用于高吞吐量和低延迟的实时数据处理。它采用统一执行引擎处理有界和无界数据流，具备精确状态管理和灵活窗口操作等特性。Flink 支持毫秒级处理和广泛生态集成，但学习曲线较陡峭，社区相对较小。通过实时日志分析示例，我们展示了如何利用 Flink 从 Kafka 中读取数据并进行词频统计，体现了其强大功能和灵活性。
土木林森
486 0
呆呆宝
|
消息中间件 分布式计算 Kafka
流计算引擎数据问题之MillWheel 和 Flink 实现数据流的同步处理如何解决
流计算引擎数据问题之MillWheel 和 Flink 实现数据流的同步处理如何解决
呆呆宝
141 0
呆呆宝
|
消息中间件 Kafka Apache
流计算引擎数据问题之Apache Flink 的完整性推理方案设计如何解决
流计算引擎数据问题之Apache Flink 的完整性推理方案设计如何解决
呆呆宝
213 0

热门文章

最新文章

  • 1
    【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践
  • 2
    Flink CDC 2.2 正式发布，新增四种数据源，支持动态加表，提供增量快照框架
  • 3
    Apache Flink 漫谈系列(08) - SQL概览
  • 4
    带你读《Flink原理、实战与性能优化》之一：Apache Flink介绍
  • 5
    滴滴基于 Flink 的实时数仓建设实践
  • 6
    Flink 实时计算在微博的应用
  • 7
    Flink on Yarn编译的Parcels包到CDH集群实录
  • 8
    《Apache Flink 案例集（2022版）》——3.机器学习——钱大妈-基于阿里云Flink的实时风控实践（1）
  • 9
    Flink 2.0 状态存算分离改造实践
  • 10
    喜报：Apache Flink 荣获 2023 年度 SIGMOD 系统奖 !!!
  • 1
    活动预告｜6月13日Apache Flink Meetup·香港站
    1058
  • 2
    Flink程序员开发利器本地化WebUI生成
    768
  • 3
    在docker中玩flink时候记录一些组合命令
    192
  • 4
    在Docker跑通Flink分布式版本的WordCount
    325
  • 5
    使用Docker快速部署Flink分布式集群
    2094
  • 6
    Flink Watermark和时间语义
    269
  • 7
    14个Flink SQL性能优化实践分享
    795
  • 8
    Flink API的4个层次
    724
  • 9
    实时计算 Flink版产品使用合集之如何批量读取Kafka数据
    1680
  • 10
    实时计算 Flink版产品使用合集之如何指定FlinkYarnSession启动的properties文件存放位置
    1011

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink峰会 - 李佳林
  • Flink峰会 - 徐榜江
  • Flink CDC Meetup PPT - 龚中强

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Kafka实现订单评论实时分析
    • 下一篇
    阿里云Agent安全中心领跑IDC 2026智能体威胁检测技术评估