阿里云实时计算Flink_社区达人页

2020年03月

• 03.13 17:40:51
  发表了文章 2020-03-13 17:40:51

  Apache Flink 进阶（八）：详解 Metrics 原理与实战

  本文由 Apache Flink Contributor 刘彪分享，本文对两大问题进行了详细的介绍，即什么是 Metrics、如何使用 Metrics，并对 Metrics 监控实战进行解释说明。

  
• 03.13 17:37:32
  发表了文章 2020-03-13 17:37:32

  Apache Flink 进阶（七）：网络流控和反压剖析

  本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下： - 网络流控的概念与背景 - TCP的流控机制 - Flink TCP-based 反压机制（before V1.5） - Flink Credit-based 反压机制 （since V1.5） - 总结与思考

  
• 03.13 17:34:50
  发表了文章 2020-03-13 17:34:50

  Apache Flink 进阶（六）：Flink 作业执行深度解析

  主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。

  
• 03.13 17:32:44
  发表了文章 2020-03-13 17:32:44

  Apache Flink 进阶（五）：数据类型和序列化

  本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。

  
• 03.13 16:12:04
  发表了文章 2020-03-13 16:12:04

  Apache Flink 进阶（四）：Flink on Yarn/K8s 原理剖析及实践

  本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。

  
• 03.13 16:10:04
  发表了文章 2020-03-13 16:10:04

  Apache Flink 进阶入门（二）：Time 深度解析

  时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层的 SQL/Table API。

  
• 03.13 10:25:37
  发表了文章 2020-03-13 10:25:37

  Flink 如何支持特征工程、在线学习、在线预测等 AI 场景？

  人工智能应用场景中，Flink 在包括特征工程，在线学习，在线预测等方面都有一些独特优势，为了更好的支持人工智能的使用场景，Flink 社区以及各个生态都在努力。

  
• 03.11 17:23:50
  发表了文章 2020-03-11 17:23:50

  Flink on Zeppelin (4) - 机器学习篇

  Flink 在机器学习这个领域发力较晚，社区版没有一个完整的机器学习算法库可以用，Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库，Alink 也在往 Flink 社区贡献的路上。今天我主要讲的就是如何在 Zeppelin 里使用 Alink。

  
• 03.11 15:36:08
  发表了文章 2020-03-11 15:36:08

  一行配置作业性能提升53%！Flink SQL 性能之旅

  在本文中，我们想带你一起看看是否能够从现有机器中激发出更多的性能，以及如何实现？我们还会为不同于 PoC 代码的作业提供进一步的提示，并对未来的工作进行展望。

  
• 03.11 15:13:45
  发表了文章 2020-03-11 15:13:45

  有赞实时任务优化：Flink Checkpoint 异常解析与应用实践

  本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Checkpoint，从而开发出更健壮的实时任务。

  
• 03.11 12:19:15
  发表了文章 2020-03-11 12:19:15

  重磅！《Apache Flink 十大技术难点实战》发布，帮你从容应对生产环境中的技术难题

  总结生产环境十大常见难点，10篇技术实战文章帮你完成故障识别、问题定位、性能优化等全链路过程，实现从基础概念的准确理解到上手实操的精准熟练，从容应对生产环境中的技术难题！

  
• 03.05 16:16:32
  发表了文章 2020-03-05 16:16:32

  性能提升约 7 倍！Apache Flink 与 Apache Hive 的集成

  随着 Flink 在流式计算的应用场景逐渐成熟和流行，如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具，所以 Flink 针对于批计算也以 SQL 为主要接口。本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。

  
• 03.05 16:15:22
  发表了文章 2020-03-05 16:15:22

  日均万亿条数据如何处理？爱奇艺实时计算平台这样做

  本文由爱奇艺大数据服务负责人梁建煌分享，介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台，并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。

  
• 03.04 11:04:20
  发表了文章 2020-03-04 11:04:20

  OPPO 实时数仓揭秘：从顶层设计实现离线与实时的平滑迁移

  单日总数据处理量超 10 万亿，峰值大概超过每秒 3 亿，OPPO 大数据平台研发负责人张俊揭秘 OPPO 基于 Apache Flink 构建实时数仓的实践，内容分为以下四个方面：建设背景、顶层设计、落地实践、未来展望。

  
• 03.04 09:59:54
  发表了文章 2020-03-04 09:59:54

  如何在 Apache Flink 1.10 中使用 Python UDF?

  在刚刚发布的 ApacheFlink 1.10 中，PyFlink 添加了对 Python UDFs 的支持。这意味着您可以从现在开始用 Python 编写 UDF 并扩展系统的功能。此外，本版本还支持 Python UDF 环境和依赖管理，因此您可以在 UDF 中使用第三方库，从而利用 Python 生态丰富的第三方库资源。

  
• 03.02 14:07:56
  发表了文章 2020-03-02 14:07:56

  Flink Weekly | 每周社区动态更新-20200228

  大家好，本文为 Flink Weekly 的第七期，由李劲松整理，主要内容包括：近期社区开发进展，邮件问题答疑以及社区直播和相关技术博客。

  
• 03.02 13:50:50
  发表了文章 2020-03-02 13:50:50

  基于 Flink 的超大规模在线实时反欺诈系统的建设与实践

  如何更快速地预防或甄别可能的欺诈行为？如何从超大规模、高并发、多维度的数据中实现在线实时反欺诈？这些都是金融科技公司当下面临的主要难题。针对这一问题，玖富集团打造基于 Flink 的超大规模在线实时反欺诈系统，快速处理海量数据并实现良好的用户体验。

  

2020年02月

• 02.26 15:35:19
  发表了文章 2020-02-26 15:35:19

  菜鸟供应链实时数仓的架构演进及应用场景

  菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进，以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。

  
• 02.26 13:51:54
  发表了文章 2020-02-26 13:51:54

  覆盖电商、推荐、ETL、风控等多场景，网易的实时计算平台做了啥？

  目前网易流计算规模已经达到了一千多个任务，2 万多个 vcores 以及 80 多 T 的内存，网易流计算覆盖了绝大多数场景，包括广告、电商大屏、ETL、数据分析、推荐、风控、搜索、直播等。

  
• 02.25 16:41:29
  发表了文章 2020-02-25 16:41:29

  Demo：基于 Flink SQL 构建流式应用

  本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。

  
• 02.24 10:50:32
  发表了文章 2020-02-24 10:50:32

  102万行代码，1270 个问题，Flink 新版发布了什么？（附最佳实践电子书）

  2 月 12 日，Apache Flink 1.10.0 正式发布，在 Flink 的第一个双位数版本中正式完成了 Blink 向 Flink 的合并。在此基础之上，Flink 1.10 版本在生产可用性、功能、性能上都有大幅提升。本文将详细为大家介绍该版本的重大变更与新增特性。 文末更有 Flink 实践精选电子书，现已开放免费下载~

  
• 02.20 17:32:03
  发表了文章 2020-02-20 17:32:03

  为什么说 Flink + AI 值得期待？

  近年来 AI 持续火热，各种计算框架、模型和算法层出不穷，从某种角度上来说，这个赛道已经有些拥挤了。在这种情况下， Flink 将怎样拥抱 AI，又会为用户带来什么新的价值？Flink AI 的优劣势分别在哪里？本文将通过对这些问题的讨论来分析 Flink AI 的发展方向。

  
• 02.20 17:22:13
  发表了文章 2020-02-20 17:22:13

  Flink 1.10 Native Kubernetes 原理与实践

  Flink 在 1.10 版本完成了 Active Kubernetes Integration 的第一阶段，支持了 session clusters。后续的第二阶段会提供更完整的支持，如支持 per-job 任务提交，以及基于原生 Kubernetes API 的高可用，支持更多的 Kubernetes 参数如 toleration, label 和 node selector 等。

  
• 02.20 17:15:18
  发表了文章 2020-02-20 17:15:18

  Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）

  Flink 作为一个统一的计算引擎，旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码，并在 1.10 中完善了大量的功能以及性能，可以运行所有 TPC-DS 的查询，性能方面也很有竞争力，Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。

  
• 02.19 11:20:37
  发表了文章 2020-02-19 11:20:37

  首发｜《Apache Flink 年度最佳实践》，揭秘一线大厂实时平台构建实践

  甄选 Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 大会嘉宾精彩分享，覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践，为你揭秘实时计算平台从无到有到有、持续优化的详细细节！

  
• 02.18 17:33:51
  发表了文章 2020-02-18 17:33:51

  bilibili 实时平台的架构与实践

  本文由 bilibili 大数据实时平台负责人郑志升分享，基于对 bilibili 实时计算的痛点分析，详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面：实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。

  
• 02.13 16:57:00
  发表了文章 2020-02-13 16:57:00

  速度收藏！看完这份知识图谱，才算搞懂 Flink！

  社区整理了这样一份知识图谱，由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。看完这份图谱，才算真的搞懂 Flink！

  
• 02.13 16:41:35
  发表了文章 2020-02-13 16:41:35

  Apache Flink 1.10.0 重磅发布，年度最大规模版本升级！

  Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化。

  
• 02.12 20:25:55
  发表了文章 2020-02-12 20:25:55

  从开发到生产上线，如何确定集群规划大小?

  在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。

  
• 02.12 12:39:27
  发表了文章 2020-02-12 12:39:27

  百万TPS高吞吐、秒级低延迟，阿里​搜索离线平台如何实现？

  阿里主搜（淘宝天猫搜索）是搜索离线平台非常重要的一个业务，具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战，搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢？

  
• 02.12 12:20:24
  发表了文章 2020-02-12 12:20:24

  假期充电 | 2019 Flink 社区年度文章合集（电子书免费送）

  为了让宝贵的经验传播，方便大家快速上手 Flink，小编将 Apache Flink 基础入门学习资料整理成电子版专刊供大家下载使用。

  

2020年01月

• 01.20 17:57:49
  发表了文章 2020-01-20 17:57:49

  来！PyFlink 作业的多种部署模式

  关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发，比如，如何使用各种算子(Join/Window/AGG etc.)，如何使用各种 Connector(Kafka, CSV, Socket etc.)，还有一些实际的案例。这些都停留在开发阶段，一旦开发完成，我们就面临激动人心的时刻，那就是将我们精心设计开发的作业进行部署，那么问题来了，你知道怎样部署 PyFlink 的作业吗？

  
• 01.20 16:43:13
  发表了文章 2020-01-20 16:43:13

  最新消息！Cloudera 全球发行版正式集成 Apache Flink

  近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品，Apache Flink PMC Chair Stephan 也回应：“此举意义重大。”这意味着所有 CDH 发行版覆盖的全球企业用户都将能够使用 Flink 进行流数据处理。

  
• 01.17 18:27:07
  发表了文章 2020-01-17 18:27:07

  实至名归！Flink 再度成为 Apache 基金会最活跃的开源项目

  2019 年对 Apache 软件基金会（简称 ASF)来说，依然是伟大的一年：它标志着开源领导“Apache 之道”（The Apache Way）的 20 年。ASF 的口号，“社区重于代码”（Community Over Code），贯穿于其所做的每一件事，全球有数十亿人受益于价值 200 多亿美元的社区主导的软件，100% 免费提供。

  
• 01.13 16:38:14
  发表了文章 2020-01-13 16:38:14

  实时计算在贝壳的实践

  本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。

  
• 01.10 17:28:37
  发表了文章 2020-01-10 17:28:37

  阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

  众所周知 Flink 是当前广泛使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。

  
• 01.10 16:52:10
  发表了文章 2020-01-10 16:52:10

  基于 Flink 构建 CEP 引擎的挑战和实践

  奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面： 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展与思考

  
• 01.10 16:17:58
  发表了文章 2020-01-10 16:17:58

  Flink Weekly | 每周社区动态更新 - 20200107

  本文为 Flink Weekly 的第三期，由 Tang Yun 整理，主要内容包括：Flink 1.10.0 的发布进展，将 blink planner 设置为 SQL client 默认 planner 的讨论，以及如何支持 SQL client gateway 的 FLIP。

  
• 01.10 15:25:13
  发表了文章 2020-01-10 15:25:13

  小米流式平台架构演进与实践

  小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。

  
• 01.03 19:22:30
  发表了文章 2020-01-03 19:22:30

  Flink Weekly | 每周社区动态更新 - 2019/12/31

  主要内容包括：讨论在 Flink SQL 中支持 JSON functions，新增 Flink 国内社区的活动和相关博客，以及汇总中文邮件中大家遇到的问题。

  
• 01.02 22:03:01
  发表了文章 2020-01-02 22:03:01

  美团点评基于 Flink 的实时数仓平台实践

  数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。

  
• 01.02 21:36:58
  发表了文章 2020-01-02 21:36:58

  监控指标10K+！携程实时智能检测平台实践

  本文将介绍携程实时智能异常检测平台——Prophet。到目前为止，Prophet 基本覆盖了携程所有业务线，监控指标的数量达到 10K+，覆盖了携程所有订单、支付等重要的业务指标。Prophet 将时间序列的数据作为数据输入，以监控平台作为接入对象，以智能告警实现异常的告警功能，并基于 Flink 实时计算引擎来实现异常的实时预警，提供一站式异常检测解决方案。

  

2019年12月

• 12.27 17:25:46
  发表了文章 2019-12-27 17:25:46

  携程实时智能检测平台建设实践

  Prophet基本覆盖了携程所有业务线，监控指标的数量达到10K+，覆盖了携程所有订单、支付等重要的业务指标。

  
• 12.27 17:04:21
  发表了文章 2019-12-27 17:04:21

  年度回顾 | 2019 年的 Apache Flink（文末有福利）

  2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink 迎来了快速的发展。

  
• 12.25 11:37:06
  发表了文章 2019-12-25 11:37:06

  在 Flink 算子中使用多线程如何保证不丢数据？

  本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。

  
• 12.24 15:43:02
  发表了文章 2019-12-24 15:43:02

  日处理数据量超10亿：友信金服基于Flink构建实时用户画像系统的实践

  友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构建统一的数据资产，如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立，旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿，接入上百种合规数据源。

  
• 12.24 15:03:31
  发表了文章 2019-12-24 15:03:31

  Flink Weekly | 每周社区动态更新-12/24

  本期的主要内容由 Hequn Cheng 整理，包括：发布 Flink 1.10 和 Flink 1.9.2 的更新，关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论，PyFlink 后期新功能的讨论以及一些博客文章。

  
• 12.19 11:31:16
  发表了文章 2019-12-19 11:31:16

  State Processor API：如何读取，写入和修改 Flink 应用程序的状态

  Apache Flink 1.9.0引入了状态处理器（`State Processor`）API，它是基于DataSet API的强大扩展，允许读取，写入和修改Flink的保存点和检查点（checkpoint）中的状态。