实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
Flink Weekly | 每周社区动态更新 - 20200313
Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
![](https://ucc.alicdn.com/pic/developer-ecology/b7e6954e19c14a06a2fada6c38d96b79.png?x-oss-process=image/resize,h_160,m_lfit)
Flink 生态:一个案例快速上手 PyFlink
Flink 从 1.9.0 版本开始增加了对 Python 的支持(PyFlink),在刚刚发布的 Flink 1.10 中,PyFlink 添加了对 Python UDFs 的支持,现在可以在 Table API/SQL 中注册并使用自定义函数。PyFlink 的架构如何,适用于哪些场景?本文将详细解析并进行 CDN 日志分析的案例演示。
SQL 开发任务超 50% !滴滴实时计算的演进与优化
Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化,也增加了更多的功能,比如扩展 DDL、内置消息格式解析、扩展 UDX 等,使得 Flink 能够在滴滴的业务场景中发挥更大的作用。
![](https://ucc.alicdn.com/pic/developer-ecology/cf14e89b98f34b96b952cead757981a0.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 进阶(八):详解 Metrics 原理与实战
本文由 Apache Flink Contributor 刘彪分享,本文对两大问题进行了详细的介绍,即什么是 Metrics、如何使用 Metrics,并对 Metrics 监控实战进行解释说明。
![](https://ucc.alicdn.com/pic/developer-ecology/b0baa4293a7d490c911034b198cd3db3.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 进阶(七):网络流控和反压剖析
本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: - 网络流控的概念与背景 - TCP的流控机制 - Flink TCP-based 反压机制(before V1.5) - Flink Credit-based 反压机制 (since V1.5) - 总结与思考
![](https://ucc.alicdn.com/pic/developer-ecology/5e7a4e9da27740dd82970180afbac1ce.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 进阶(六):Flink 作业执行深度解析
主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物理执行计划,二是生成物理执行计划后该如何调度和执行。
![](https://ucc.alicdn.com/pic/developer-ecology/9b5bdb63dc3440799d587808ce7f4b87.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 进阶(五):数据类型和序列化
本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。
![](https://ucc.alicdn.com/pic/developer-ecology/ddc765ec7e3c4a0a94ed14caa74f9f7e.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践
本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。
![](https://ucc.alicdn.com/pic/developer-ecology/f81e8a56934e49c3aa96093577a23bac.png?x-oss-process=image/resize,h_160,m_lfit)
Apache Flink 进阶入门(二):Time 深度解析
时间属性是流处理中最重要的一个方面,是流处理系统的基石之一,贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因,我们能够接触到时间的地方不是很多,所以我们将重点放在底层的 ProcessFunction 和最上层的 SQL/Table API。
![](https://ucc.alicdn.com/pic/developer-ecology/b7004b13253b4b19a88562d2898e8e2f.jpeg?x-oss-process=image/resize,h_160,m_lfit)
Flink 如何支持特征工程、在线学习、在线预测等 AI 场景?
人工智能应用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,Flink 社区以及各个生态都在努力。
Flink 如何支持特征工程、在线学习、在线预测等 AI 场景?
人工智能应用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,Flink 社区以及各个生态都在努力。本文将介绍近期 Flink 在人工智能生态系统中的工作进展。
![](https://ucc.alicdn.com/pic/developer-ecology/d645e70ef99647c2b87a7589059caeac.jpg?x-oss-process=image/resize,h_160,m_lfit)
Flink on Zeppelin (4) - 机器学习篇
Flink 在机器学习这个领域发力较晚,社区版没有一个完整的机器学习算法库可以用,Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库,Alink 也在往 Flink 社区贡献的路上。今天我主要讲的就是如何在 Zeppelin 里使用 Alink。
Flink on Zeppelin (4) - 机器学习篇
Flink 在机器学习这个领域发力较晚,社区版没有一个完整的机器学习算法库可以用,Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库,Alink 也在往 Flink 社区贡献的路上。今天我主要讲的就是如何在 Zeppelin 里使用 Alink。
![](https://ucc.alicdn.com/pic/developer-ecology/8792ed4216664846baf258b672a44b3c.png?x-oss-process=image/resize,h_160,m_lfit)
一行配置作业性能提升53%!Flink SQL 性能之旅
在本文中,我们想带你一起看看是否能够从现有机器中激发出更多的性能,以及如何实现?我们还会为不同于 PoC 代码的作业提供进一步的提示,并对未来的工作进行展望。
一行配置作业性能提升53%!Flink SQL 性能之旅
在本文中,我们想带你一起看看是否能够从现有机器中激发出更多的性能,以及如何实现?我们还会为不同于 PoC 代码的作业提供进一步的提示,并对未来的工作进行展望。
![](https://ucc.alicdn.com/pic/developer-ecology/b59dc16c10a14b2e86f4c0d00f7ab03b.png?x-oss-process=image/resize,h_160,m_lfit)
有赞实时任务优化:Flink Checkpoint 异常解析与应用实践
本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoint 原理流程以及常见原因分析,让用户能够更好的理解 Flink Checkpoint,从而开发出更健壮的实时任务。
有赞实时任务优化:Flink Checkpoint 异常解析与应用实践
本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoint 原理流程以及常见原因分析,让用户能够更好的理解 Flink Checkpoint,从而开发出更健壮的实时任务。
![](https://ucc.alicdn.com/pic/developer-ecology/585115209838446288ee92fd13fda5bd.jpg?x-oss-process=image/resize,h_160,m_lfit)
重磅!《Apache Flink 十大技术难点实战》发布,帮你从容应对生产环境中的技术难题
总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别、问题定位、性能优化等全链路过程,实现从基础概念的准确理解到上手实操的精准熟练,从容应对生产环境中的技术难题!
![](https://yqfile.alicdn.com/df27c7a1cb4e070f014da10ac236833e8622bb6b.png?x-oss-process=image/resize,h_160,m_lfit)
必看!Apache Flink 运维&实战系列直播,揭秘生产环境技术难点
随着 Flink 社区的快速发展,其技术也逐渐走向成熟。在 2019 年,国内已经有大量的本土互联网公司开始采用 Apache Flink 作为主流的实时计算解决方案。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用 Apache Flink。
![](https://ucc.alicdn.com/pic/developer-ecology/d68886c913414156b382b31532b5393f.jpeg?x-oss-process=image/resize,h_160,m_lfit)
性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成
随着 Flink 在流式计算的应用场景逐渐成熟和流行,如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具,所以 Flink 针对于批计算也以 SQL 为主要接口。本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。
![](https://ucc.alicdn.com/pic/developer-ecology/e59e5de462e14839a85cbc70bc6b1bf7.png?x-oss-process=image/resize,h_160,m_lfit)
日均万亿条数据如何处理?爱奇艺实时计算平台这样做
本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。
日均万亿条数据如何处理?爱奇艺实时计算平台这样做
本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。
性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成
随着 Flink 在流式计算的应用场景逐渐成熟和流行,如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具,所以 Flink 针对于批计算也以 SQL 为主要接口。
OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移
单日总数据处理量超 10 万亿,峰值大概超过每秒 3 亿,OPPO 大数据平台研发负责人张俊揭秘 OPPO 基于 Apache Flink 构建实时数仓的实践,内容分为以下四个方面:建设背景、顶层设计、落地实践、未来展望。
![](https://ucc.alicdn.com/pic/developer-ecology/7d4e94d4653f420882efcd2bf727d676.jpeg?x-oss-process=image/resize,h_160,m_lfit)
OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移
单日总数据处理量超 10 万亿,峰值大概超过每秒 3 亿,OPPO 大数据平台研发负责人张俊揭秘 OPPO 基于 Apache Flink 构建实时数仓的实践,内容分为以下四个方面:建设背景、顶层设计、落地实践、未来展望。
![](https://ucc.alicdn.com/pic/developer-ecology/19c6a777d9f845859e1594602e3bc982.jpg?x-oss-process=image/resize,h_160,m_lfit)
如何在 Apache Flink 1.10 中使用 Python UDF?
在刚刚发布的 ApacheFlink 1.10 中,PyFlink 添加了对 Python UDFs 的支持。这意味着您可以从现在开始用 Python 编写 UDF 并扩展系统的功能。此外,本版本还支持 Python UDF 环境和依赖管理,因此您可以在 UDF 中使用第三方库,从而利用 Python 生态丰富的第三方库资源。
如何在 Apache Flink 1.10 中使用 Python UDF?
在刚刚发布的 ApacheFlink 1.10 中,PyFlink 添加了对 Python UDFs 的支持。这意味着您可以从现在开始用 Python 编写 UDF 并扩展系统的功能。此外,本版本还支持 Python UDF 环境和依赖管理,因此您可以在 UDF 中使用第三方库,从而利用 Python 生态丰富的第三方库资源。
Flink Weekly | 每周社区动态更新-20200228
大家好,本文为 Flink Weekly 的第七期,由李劲松整理,主要内容包括:近期社区开发进展,邮件问题答疑以及社区直播和相关技术博客。
![](https://ucc.alicdn.com/pic/developer-ecology/fe674aea15094cd2b584053d16856f74.jpg?x-oss-process=image/resize,h_160,m_lfit)
Flink Weekly | 每周社区动态更新-20200228
大家好,本文为 Flink Weekly 的第七期,由李劲松整理,主要内容包括:近期社区开发进展,邮件问题答疑以及社区直播和相关技术博客。
基于 Flink 的超大规模在线实时反欺诈系统的建设与实践
如何更快速地预防或甄别可能的欺诈行为?如何从超大规模、高并发、多维度的数据中实现在线实时反欺诈?这些都是金融科技公司当下面临的主要难题。针对这一问题,玖富集团打造基于 Flink 的超大规模在线实时反欺诈系统,快速处理海量数据并实现良好的用户体验。
![](https://ucc.alicdn.com/pic/developer-ecology/5f3abc443ef6437f8cfe156a7f9268b1.jpeg?x-oss-process=image/resize,h_160,m_lfit)
基于 Flink 的超大规模在线实时反欺诈系统的建设与实践
如何更快速地预防或甄别可能的欺诈行为?如何从超大规模、高并发、多维度的数据中实现在线实时反欺诈?这些都是金融科技公司当下面临的主要难题。针对这一问题,玖富集团打造基于 Flink 的超大规模在线实时反欺诈系统,快速处理海量数据并实现良好的用户体验。
![](https://ucc.alicdn.com/pic/developer-ecology/10b0750462704bd19f921a728b7ae11c.jpeg?x-oss-process=image/resize,h_160,m_lfit)
菜鸟供应链实时数仓的架构演进及应用场景
菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进,以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。
菜鸟供应链实时数仓的架构演进及应用场景
菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进,以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。
![](https://ucc.alicdn.com/pic/developer-ecology/21299471366d47e78c1ab014d7037d18.jpeg?x-oss-process=image/resize,h_160,m_lfit)
覆盖电商、推荐、ETL、风控等多场景,网易的实时计算平台做了啥?
目前网易流计算规模已经达到了一千多个任务,2 万多个 vcores 以及 80 多 T 的内存,网易流计算覆盖了绝大多数场景,包括广告、电商大屏、ETL、数据分析、推荐、风控、搜索、直播等。
![](https://ucc.alicdn.com/pic/developer-ecology/2979457c5ee14af0a8821d94e2904b4c.jpeg?x-oss-process=image/resize,h_160,m_lfit)
覆盖电商、推荐、ETL、风控等多场景,网易的实时计算平台做了啥?
目前网易流计算规模已经达到了一千多个任务,2 万多个 vcores 以及 80 多 T 的内存,网易流计算覆盖了绝大多数场景,包括广告、电商大屏、ETL、数据分析、推荐、风控、搜索、直播等。
Demo:基于 Flink SQL 构建流式应用
本文所有的实战演练都将在 Flink SQL CLI 上执行,全程只涉及 SQL 纯文本,无需一行 Java/Scala 代码,无需安装 IDE。
![](https://ucc.alicdn.com/pic/developer-ecology/4e6f55e5d9094efa8c5063b415693ca3.png?x-oss-process=image/resize,h_160,m_lfit)
Demo:基于 Flink SQL 构建流式应用
本文所有的实战演练都将在 Flink SQL CLI 上执行,全程只涉及 SQL 纯文本,无需一行 Java/Scala 代码,无需安装 IDE。
![](https://ucc.alicdn.com/pic/developer-ecology/517d8d5c03ca4731a975326f499755cf.png?x-oss-process=image/resize,h_160,m_lfit)
首发|《Apache Flink 年度最佳实践》,揭秘一线大厂实时平台构建实践
甄选 Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 大会嘉宾精彩分享,覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践,为你揭秘实时计算平台从无到有到有、持续优化的详细细节!
![](https://ucc.alicdn.com/pic/developer-ecology/c3236c87a2dd4858b9a6b248368f0aa2.jpeg?x-oss-process=image/resize,h_160,m_lfit)
102万行代码,1270 个问题,Flink 新版发布了什么?(附最佳实践电子书)
2 月 12 日,Apache Flink 1.10.0 正式发布,在 Flink 的第一个双位数版本中正式完成了 Blink 向 Flink 的合并。在此基础之上,Flink 1.10 版本在生产可用性、功能、性能上都有大幅提升。本文将详细为大家介绍该版本的重大变更与新增特性。 文末更有 Flink 实践精选电子书,现已开放免费下载~
![](https://ucc.alicdn.com/pic/developer-ecology/e2d740cdc8a54f1d8327810f1ea85a44.png?x-oss-process=image/resize,h_160,m_lfit)
102万行代码,1270 个问题,Flink 新版发布了什么?(附最佳实践电子书)
2 月 12 日,Apache Flink 1.10.0 正式发布,在 Flink 的第一个双位数版本中正式完成了 Blink 向 Flink 的合并。在此基础之上,Flink 1.10 版本在生产可用性、功能、性能上都有大幅提升。本文将详细为大家介绍该版本的重大变更与新增特性。
为什么说 Flink + AI 值得期待?
近年来 AI 持续火热,各种计算框架、模型和算法层出不穷,从某种角度上来说,这个赛道已经有些拥挤了。在这种情况下, Flink 将怎样拥抱 AI,又会为用户带来什么新的价值?Flink AI 的优劣势分别在哪里?本文将通过对这些问题的讨论来分析 Flink AI 的发展方向。
![](https://ucc.alicdn.com/pic/developer-ecology/7d76fbe161b64cc1a691c9df53a2c7bd.png?x-oss-process=image/resize,h_160,m_lfit)
为什么说 Flink + AI 值得期待?
近年来 AI 持续火热,各种计算框架、模型和算法层出不穷,从某种角度上来说,这个赛道已经有些拥挤了。在这种情况下, Flink 将怎样拥抱 AI,又会为用户带来什么新的价值?Flink AI 的优劣势分别在哪里?本文将通过对这些问题的讨论来分析 Flink AI 的发展方向。
![](https://ucc.alicdn.com/pic/developer-ecology/487e61ebc6ec42f1aba7d97792ce0511.png?x-oss-process=image/resize,h_160,m_lfit)
Flink 1.10 Native Kubernetes 原理与实践
Flink 在 1.10 版本完成了 Active Kubernetes Integration 的第一阶段,支持了 session clusters。后续的第二阶段会提供更完整的支持,如支持 per-job 任务提交,以及基于原生 Kubernetes API 的高可用,支持更多的 Kubernetes 参数如 toleration, label 和 node selector 等。
Flink 1.10 Native Kubernetes 原理与实践
Flink 在 1.10 版本完成了 Active Kubernetes Integration 的第一阶段,支持了 session clusters。后续的第二阶段会提供更完整的支持,如支持 per-job 任务提交,以及基于原生 Kubernetes API 的高可用,支持更多的 Kubernetes 参数如 toleration, label 和 node selector 等。
![](https://ucc.alicdn.com/pic/developer-ecology/217df58d985b4c5bb65d72f26127e8f6.jpg?x-oss-process=image/resize,h_160,m_lfit)
Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)
Flink 作为一个统一的计算引擎,旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码,并在 1.10 中完善了大量的功能以及性能,可以运行所有 TPC-DS 的查询,性能方面也很有竞争力,Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。
![](https://ucc.alicdn.com/pic/developer-ecology/217df58d985b4c5bb65d72f26127e8f6.jpg?x-oss-process=image/resize,h_160,m_lfit)
Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)
Flink 作为一个统一的计算引擎,旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码,并在 1.10 中完善了大量的功能以及性能,可以运行所有 TPC-DS 的查询,性能方面也很有竞争力,Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。
从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践
本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。
![](https://ucc.alicdn.com/pic/developer-ecology/26a95ae48fba4fa19fcc4ac577e41cee.png?x-oss-process=image/resize,h_160,m_lfit)
首发|《Apache Flink 年度最佳实践》,揭秘一线大厂实时平台构建实践
甄选 Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 大会嘉宾精彩分享,覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践,为你揭秘实时计算平台从无到有到有、持续优化的详细细节!
![](https://ucc.alicdn.com/pic/developer-ecology/fb4ff38829fc48e6ab455cad5ba66a05.jpeg?x-oss-process=image/resize,h_160,m_lfit)
bilibili 实时平台的架构与实践
本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。