阿里云实时计算Flink_社区达人页

2019年12月

• 12.18 20:01:34
  发表了文章 2019-12-18 20:01:34

  Flink SQL 如何实现数据流的 Join？

  Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。

  
• 12.17 11:47:12
  发表了文章 2019-12-17 11:47:12

  Lyft 基于 Flink 的大规模准实时数据分析平台（附FFA大会视频）

  如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。

  
• 12.17 11:30:32
  发表了文章 2019-12-17 11:30:32

  仅 1 年 GitHub Star 数翻倍，Flink 做了什么？

  在 Flink Forward Asia 2019 上，阿里巴巴资深技术专家，实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进，阿里对 Flink 社区的贡献以及未来 Flink 的最新发展方向。

  
• 12.12 11:25:43
  发表了文章 2019-12-12 11:25:43

  Flink Batch SQL 1.10 实践

  1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。

  
• 12.11 20:18:25
  发表了文章 2019-12-11 20:18:25

  如何在 PyFlink 1.10 中自定义 Python UDF？

  本篇从架构到 UDF 接口定义，再到具体的实例，向大家介绍了在 Apache Flink 1.10 发布之后，如何利用 PyFlink 进行业务开发

  
• 12.11 16:12:58
  发表了文章 2019-12-11 16:12:58

  在 Cloudera Data Flow 上运行你的第一个 Flink 例子

  本文主要是介绍如何在 CDH6.3 中安装 Flink 1.9 以及运行你的第一个 Flink 例子。

  
• 12.04 10:48:42
  发表了文章 2019-12-04 10:48:42

  Flink Forward Asia 2019 - 总结和展望（附PPT下载链接）

  11 月 28 - 30 日，北京迎来了入冬以来的第一场雪，2019 Flink Forward Asia（FFA）也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷，FFA 实际到会人次超过 2000，同比去年增加近 100%。

  
• 12.03 14:26:29
  发表了文章 2019-12-03 14:26:29

  阿里重磅开源全球首个批流一体机器学习平台Alink，Blink功能已全部贡献至Flink

  11月28日，Flink Forward Asia 2019 在北京国家会议中心召开，阿里在会上发布Flink 1.10版本功能前瞻，同时宣布基于Flink的机器学习算法平台Alink正式开源，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。

  

2019年11月

• 11.22 10:17:06
  发表了文章 2019-11-22 10:17:06

  Flink 实战：如何解决生产环境中的技术难题？

  Apache Flink 作为业界公认为最好的流计算引擎，不仅仅局限于做流处理，而是一套兼具流、批、机器学习等多种计算功能的大数据引擎，以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级，并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。
• 11.18 17:32:13
  发表了文章 2019-11-18 17:32:13

  如何分析及处理 Flink 反压？

  反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。

  
• 11.18 17:29:51
  发表了文章 2019-11-18 17:29:51

  Flink 在人工智能领域的应用实践

  Flink 机器学习进度几何？如何将 Flink 与 TensorFlow 等框架相结合？有哪些 Flink 在机器学习上的生产实践应用？为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。
• 11.18 17:05:23
  发表了文章 2019-11-18 17:05:23

  Ververica Platform-阿里巴巴全新Flink企业版揭秘

  本文主要从Ververica由来开始谈起，着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini，以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。

  
• 11.18 17:03:41
  发表了文章 2019-11-18 17:03:41

  咱们从头到尾讲一次 Flink 网络流控和反压剖析

  文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制（before V1.5）、Flink Credit-based 反压机制 （since V1.5）、总结与思考等几个方面进行分享。

  
• 11.18 17:02:33
  发表了文章 2019-11-18 17:02:33

  Apache Flink 的迁移之路，2 年处理效果提升 5 倍

  在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。

  
• 11.18 17:00:49
  发表了文章 2019-11-18 17:00:49

  基于 Flink 的实时数仓生产实践

  数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战。在智能商业中，数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策，更好地进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

  
• 11.14 22:43:52
  发表了文章 2019-11-14 22:43:52

  Apache Flink 进阶（八）：详解 Metrics 原理与实战

  Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。
• 11.13 19:12:19
  发表了文章 2019-11-13 19:12:19

  开源大数据生态下的 Flink 应用实践

  11 月 28-30 日，Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的优秀实践。

  
• 11.13 19:10:30
  发表了文章 2019-11-13 19:10:30

  开源大数据生态下的 Flink 应用实践

  11 月 28-30 日，Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的优秀实践。
• 11.12 17:31:31
  发表了文章 2019-11-12 17:31:31

  Flink State 有可能代替数据库吗？

  State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界不禁思考: State 和 Database 是何种关系？有没有可能用 State 来代替数据库呢？
• 11.12 16:27:56
  发表了文章 2019-11-12 16:27:56

  Flink State 有可能代替数据库吗？

  State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界不禁思考: State 和 Database 是何种关系？有没有可能用 State 来代替数据库呢？

  
• 11.11 16:48:06
  发表了文章 2019-11-11 16:48:06

  Apache Flink 为什么能够成为新一代大数据计算引擎？

  大数据时代对人类的数据驾驭能力提出了新的挑战，Flink 的诞生为企业用户获得更为快速、准确的计算能力提供了前所未有的空间与潜力。作为公认的新一代大数据计算引擎，Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选？

  
• 11.11 16:45:59
  发表了文章 2019-11-11 16:45:59

  趣头条基于 Flink 的实时平台建设实践

  本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。

  
• 11.07 16:02:30
  发表了文章 2019-11-07 16:02:30

  Apache Flink 为什么能够成为新一代大数据计算引擎？

  大数据时代对人类的数据驾驭能力提出了新的挑战，Flink 的诞生为企业用户获得更为快速、准确的计算能力提供了前所未有的空间与潜力。作为公认的新一代大数据计算引擎，Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选？
• 11.07 15:47:44
  发表了文章 2019-11-07 15:47:44

  趣头条基于 Flink 的实时平台建设实践

  本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。
• 11.07 15:24:25
  发表了文章 2019-11-07 15:24:25

  Apache Flink 的迁移之路，2 年处理效果提升 5 倍

  在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。
• 11.05 21:02:30
  发表了文章 2019-11-05 21:02:30

  咱们从头到尾讲一次 Flink 网络流控和反压剖析

  文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制（before V1.5）、Flink Credit-based 反压机制 （since V1.5）、总结与思考等几个方面进行分享。
• 11.05 16:47:14
  发表了文章 2019-11-05 16:47:14

  Apache Flink 进阶（六）：Flink 作业执行深度解析

  本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。

2019年10月

• 10.31 10:52:06
  发表了文章 2019-10-31 10:52:06

  企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题？

  业务数据的指数级扩张，数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景，在生产实践中已有丰富的案例与优秀的经验。
• 10.30 20:38:08
  发表了文章 2019-10-30 20:38:08

  Ververica Platform-阿里巴巴全新Flink企业版揭秘

  本文主要从Ververica由来开始谈起，着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini，以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。
• 10.30 19:48:45
  发表了文章 2019-10-30 19:48:45

  深入了解 Flink 网络栈（二）：监控、指标和处理背压

  在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。
• 10.30 14:36:40
  发表了文章 2019-10-30 14:36:40

  日均百亿级日志处理：微博基于 Flink 的实时计算平台建设

  传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契，但受制于离线计算的时效性制约，越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建，目前该系统已支持日均处理日志数量超过百亿，接入产品线、业务日志类型若干。
• 10.23 15:13:13
  发表了文章 2019-10-23 15:13:13

  Apache Flink 进阶（五）：数据类型和序列化

  本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。

  
• 10.23 15:09:12
  发表了文章 2019-10-23 15:09:12

  一文带你了解 Flink Forward 柏林站全部重点内容

  阿里巴巴这次共派出了包括笔者在内的3名讲师，总共参加了4场分享和2个问答环节。在这里，我会根据自己参与的议题给大家做一下这次会议整体的一个介绍和个人在这次参会过程里面的感受和思考，希望对感兴趣的同学有所帮助。
• 10.17 19:39:52
  发表了文章 2019-10-17 19:39:52

  从 Storm 到 Flink，汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

  汽车之家的实时 SQL 平台设计思路与实践，主要从架构及设计思路、基于 Flink SQL 平台的实时数仓的实践及使用案例、后续规划。

  
• 10.16 19:31:20
  发表了文章 2019-10-16 19:31:20

  Flink 实时写入数据到 ElasticSearch 性能调优

  线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。
• 10.14 20:32:06
  发表了文章 2019-10-14 20:32:06

  Apache Flink 进阶（四）：Flink on Yarn/K8s 原理剖析及实践

  本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。
• 10.14 17:37:41
  发表了文章 2019-10-14 17:37:41

  Flink Kafka Connector 与 Exactly Once 剖析

  Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。
• 10.14 11:34:47
  发表了文章 2019-10-14 11:34:47

  重磅揭晓！Flink Forward Asia 2019 议程完整出炉

  60 年前，人工智能的诞生刷新了人类对技术的期待；过去 10 年，大数据、云计算等核心技术的发展，推动了整个社会的重构与革新；5 年时间，移动互联网从诞生到逐步实现万物互联，数据在现实中的边界正在不断被拓展；技术迭变的进程不断加快，新兴技术的涌现昼夜不停。

2019年09月

• 09.29 16:34:03
  发表了文章 2019-09-29 16:34:03

  Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？

  本文为 Flink SQL 系列文章的第二篇，前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明，本文详细讲解 5 个 TableEnvironment 及其适用场景，并介绍 Flink 社区对 TableEnvironment 的未来规划。

  
• 09.29 16:22:26
  发表了文章 2019-09-29 16:22:26

  如何构建批流一体数据融合平台的一致性语义保证？

  本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。

  
• 09.29 14:12:51
  发表了文章 2019-09-29 14:12:51

  阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

  章剑锋（简锋），开源界老兵，Apache Member，曾就职于 Hortonworks，目前在阿里巴巴计算平台事业部任高级技术专家，并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ，以及 Apache Pig 的 Committer。

  
• 09.29 11:33:34
  发表了文章 2019-09-29 11:33:34

  Flink on YARN（下）：常见问题与排查思路

  上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程，本文将根据社区大群反馈，解答客户端和 Flink Cluster 的常见问题，分享相关问题的排查思路。

  
• 09.25 13:07:04
  发表了文章 2019-09-25 13:07:04

  Flink on YARN（上）：一张图轻松掌握基础架构与启动流程

  本文基于FLIP-6重构后的资源调度模型介绍Flink on YARN应用启动全流程，解答客户端和Flink Cluster的常见问题，分享相关问题的排查思路。

  
• 09.25 10:16:12
  发表了文章 2019-09-25 10:16:12

  Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践

  大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。首先讲一下 Checkpoint 与 state 的关系，然后介绍什么是 state，第三部分介绍如何在 Flink 中使用state，第四部分则介绍 Checkpoint 的执行机制。

  
• 09.19 16:35:56
  发表了文章 2019-09-19 16:35:56

  开篇 | 揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？

  本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇，Flink SQL 系列文章由其核心贡献者们分享，涵盖基础知识、实践、调优、内部实现等各个方面，带你由浅入深地全面了解 Flink SQL。