阿里云实时计算Flink_社区达人页

2021年03月

• 03.03 11:46:29
  发表了文章 2021-03-03 11:46:29

  Flink 必知必会经典课程5：Flink SQL _ Table 介绍与实战

  本文由 Apache Flink PMC，阿里巴巴技术专家伍翀（云邪）分享，主要介绍了Flink SQL和Table API的诞生背景、概念和功能，并通过三个实例演练让观众更直观地了解了Flink及其在Kibana上的具体操作流程。

  

2021年02月

• 02.26 15:08:54
  发表了文章 2021-02-26 15:08:54

  Apache Flink 在快手的过去、现在和未来

  分享快手在 Flink 项目上的应用、改进与发展历程。

  
• 02.26 11:30:02
  发表了文章 2021-02-26 11:30:02

  基于 Flink SQL 构建流批一体的 ETL 数据集成

  如何利用 Flink SQL 构建流批一体的 ETL 数据集成。

  
• 02.24 14:47:31
  发表了文章 2021-02-24 14:47:31

  Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

  数据湖的架构中，CDC 数据实时读写的方案和原理

  
• 02.24 11:27:05
  发表了文章 2021-02-24 11:27:05

  流批一体生产应用！Bigo 实时计算平台建设实践

  本文由 Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍

  
• 02.22 14:18:32
  发表了文章 2021-02-22 14:18:32

  有赞 Flink 实时任务资源优化探索与实践

  目前有赞实时计算平台对于 Flink 任务资源优化探索已经走出第一步。

  
• 02.22 10:44:43
  发表了文章 2021-02-22 10:44:43

  Flink SQL 性能优化：multiple input 详解

  在 Flink 1.12 中，针对目前 operator chaining 无法覆盖的场景，推出了 multiple input operator 与 source chaining 优化。该优化将消除 Flink 作业中大多数冗余 shuffle，进一步提高作业的执行效率。本文将以一个 SQL 作业为例介绍上述优化，并展示 Flink 1.12 在 TPC-DS 测试集上取得的成果。

  
• 02.05 10:44:35
  发表了文章 2021-02-05 10:44:35

  深度集成 Flink: Apache Iceberg 0.11.0 最新功能解读

  Apache Flink 和 Apache Iceberg 在共同打造流批一体的数据湖架构上开启了新的篇章。

  
• 02.03 10:55:19
  发表了文章 2021-02-03 10:55:19

  腾讯基于 Flink SQL 的功能扩展与深度优化实践

  本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化。

  
• 02.01 10:53:10
  发表了文章 2021-02-01 10:53:10

  滴滴 Flink-1.10 升级之路

  滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。

  

2021年01月

• 01.28 15:29:55
  发表了文章 2021-01-28 15:29:55

  免费下载！从入门到精通，实时计算 Flink 版独家实战秘籍

  9天 Get 企业级大数据实战能力！阿里巴巴核心研发团队手把手教学～

  
• 01.28 11:19:12
  发表了文章 2021-01-28 11:19:12

  Flink + Iceberg 全场景实时数仓的建设实践

  Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。

  
• 01.27 11:36:51
  发表了文章 2021-01-27 11:36:51

  福利！

  本期福利紧急运输中，敬请期待！
• 01.26 17:07:54
  发表了文章 2021-01-26 17:07:54

  Flink 助力美团数仓增量生产

  本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式 OLAP 应用；5、未来规划。

  
• 01.25 16:18:06
  发表了文章 2021-01-25 16:18:06

  Flink SQL 在字节跳动的优化与实践

  Flink 在字节的应用实战

  
• 01.20 15:12:31
  发表了文章 2021-01-20 15:12:31

  Flink as a Unified Engine: Now and Next

  2020 年是 Apache Flink 社区生态加速繁荣的一年。

  
• 01.20 11:19:37
  发表了文章 2021-01-20 11:19:37

  Apache Flink 在实时金融数据湖的应用

  本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。

  
• 01.13 16:48:43
  发表了文章 2021-01-13 16:48:43

  京东搜索排序在线学习的 Flink 优化实践

  本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践

  
• 01.13 16:24:16
  发表了文章 2021-01-13 16:24:16

  实时计算pv/uv Demo

  本文由阿里巴巴高级技术专家邓小勇（静行）分享，主要用 Demo 演示如何通过实时计算 Flink 实时计算pv/uv的场景。

  
• 01.12 17:31:46
  发表了文章 2021-01-12 17:31:46

  如何迁移 Flink 任务到实时计算

  本文由阿里巴巴技术专家景丽宁（砚田）分享，主要介绍如何迁移Flink任务到实时计算 Flink 中来。

  
• 01.12 17:21:26
  发表了文章 2021-01-12 17:21:26

  如何将实时计算 Flink 与自身环境打通

  如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 客训练营产品、技术专家齐上阵，从 Flink的发展、 Flink 的技术原理、应用场景及行业案例，到开源Flink功能介绍和实时计算 Flink 优势详解，现场实操，9天即可上手！ 本篇内容将介绍如何实时计算 Flink 与自身环境打通。

  
• 01.12 17:20:14
  发表了文章 2021-01-12 17:20:14

  如何使用 AutoPilot 对作业自动调优？

  本文主要介绍如何使用 AutoPilot 对作业自动调优，解决 Flink 作业开发和运维的两大难题。

  
• 01.12 17:10:28
  发表了文章 2021-01-12 17:10:28

  如何跑通第一个 SQL 作业

  本文由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍如何跑通第一个SQL。内容将从以下3个部分介绍：1、SQL的基本概念；2、SQL的语法说明；3、SQL 实战；

  
• 01.12 16:43:27
  发表了文章 2021-01-12 16:43:27

  如何跑通第一个 DataStream 作业

  本文由阿里巴巴技术专家叶佳纯（自知）分享，主要介绍如何在实时计算 Flink 版中跑通 DataStream 作业。

  
• 01.12 10:32:49
  发表了文章 2021-01-12 10:32:49

  连续三年蝉联第一，Flink 荣膺全球最活跃的 Apache 开源项目

  Apache 软件基金会 2020 年度总结发布，Flink 多项排名领先！

  
• 01.07 10:56:06
  发表了文章 2021-01-07 10:56:06

  开发效率提升15倍！批流融合实时平台在好未来的应用实践

  本文由好未来资深数据平台工程师毛祥溢分享，主要介绍批流融合在教育行业的实践。内容包括两部分，第一部分是好未来在做实时平台中的几点思考，第二部分主要分享教育行业中特有数据分析场景。

  
• 01.06 10:40:22
  发表了文章 2021-01-06 10:40:22

  详解 Flink 容器化环境下的 OOM Killed

  本文将解析 JVM 和 Flink 的内存模型，并总结在工作中遇到和在社区交流中了解到的造成 Flink 内存使用超出容器限制的常见原因。由于 Flink 内存使用与用户代码、部署环境、各种依赖版本等因素都有紧密关系，本文主要讨论 on YARN 部署、Oracle JDK/OpenJDK 8、Flink 1.10+ 的情况。

  
• 01.05 15:37:10
  发表了文章 2021-01-05 15:37:10

  数仓实时化改造：Hudi on Flink 在顺丰的实践应用

  本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分：1、顺丰业务介绍；2、Hudi on Flink；3、产品化支持；4、后续计划。

  
• 01.05 15:23:16
  发表了文章 2021-01-05 15:23:16

  从 RxJS 到 Flink：如何处理数据流？

  前端开发的本质是什么？响应式编程相对于 MVVM 或者 Redux 有什么优点？响应式编程的思想是否可以应用到后端开发中？本文以一个新闻网站为例，阐述在前端开发中如何使用响应式编程思想；再以计算电商平台双11每小时成交额为例，分享同样的思想在实时计算中的相同与不同之处。

  
• 01.04 17:04:58
  发表了文章 2021-01-04 17:04:58

  为什么阿里云要做流批一体？

  流批一体已经从理论走向实践，并在 2020 年迎来落地元年。

  

2020年12月

• 12.31 17:30:47
  发表了文章 2020-12-31 17:30:47

  ​实战：Flink 1.12 维表 Join Hive 最新分区功能体验

  我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求，其中 Hive 表是分区表，业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了，刚好支撑了这种业务场景，我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。

  
• 12.28 17:18:41
  发表了文章 2020-12-28 17:18:41

  实时计算 Flink 与你相约阿里云

  如何使用实时计算 Flink 搞定实时数据处理难题？本文由阿里巴巴高级技术专家邓小勇老师分享，从实时计算的历史回顾着手，详细介绍了阿里云实时计算 Flink 的核心优势与应用场景，文章内容主要分为以下四部分：历史回眸、选择理由、产品介绍、未来可期

  
• 12.28 15:36:04
  发表了文章 2020-12-28 15:36:04

  如何开通实时计算 Flink 版

  本文由阿里巴巴产品专家赵开兴分享，主要介绍实时计算 Flink的开通、功能及使用，并通过多个演示示例进行详细demo演示。内容主要分享以下几部分：1、Blink独享集群使用介绍；2、Flink 全托管集群的使用

  
• 12.25 00:10:15
  发表了文章 2020-12-25 00:10:15

  Flink Forward Asia 2020 -- Keynote 总结

  12 月13 – 15 号，2020 Flink Forward Asia（FFA）在春雪的召唤下顺利拉开帷幕。Flink Forward Asia 是由 Apache 官方授权，Apache Flink Community China 支持举办的会议。经过两年的不断升级和完善，Flink Forward Asia 已成为国内最大的 Apache 顶级项目会议，是 Flink 开发者和使用者的年度盛会！

  
• 12.23 20:03:18
  发表了文章 2020-12-23 20:03:18

  实时计算 Flink 版应用场景与产品介绍

  本文由阿里巴巴高级产品专家陈守元老师分享，详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例。

  
• 12.17 17:20:09
  发表了文章 2020-12-17 17:20:09

  官宣 | Apache Flink 1.12.0 正式发布，流批一体真正统一运行！

  Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布！近 300 位贡献者参与了 Flink 1.12.0 的开发，提交了超过 1000 多个修复或优化。

  
• 12.17 16:43:01
  发表了文章 2020-12-17 16:43:01

  如何解决生产环境 Flink 应用的技术难题？

  更好地释放 Flink 的强大算力，需要解决哪些问题？如何进行技术选型？针对业务的特点如何进行相应改进? 实践过程中需要规避哪些坑?

  
• 12.17 15:20:22
  发表了文章 2020-12-17 15:20:22

  【70+演讲PDF免费下载！】最全 Flink Forward Asia 2020 回顾

  12月13日-15日，Flink Forward Asia 2020 在线峰会圆满落幕。为期三天的会议中，Flink 社区以超多干货，丰富内容打造了一场大数据与 Apache Flink 的全技术盛宴。

  
• 12.16 17:02:42
  发表了文章 2020-12-16 17:02:42

  Flink SQL 实战：双流 join 场景应用

  大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中，join 的数据集是有边界的，可以缓存数据有边界的数据集进行查询，有Nested Loop/Hash Join/Sort Merge Join 等多表 join；而在实时场景中，join 两侧的数据都是无边界的数据流，所以缓存数据集对长时间 job 来说，存储和查询压力很大。如何从容应对各种流式场景？

  
• 12.12 16:18:44
  发表了文章 2020-12-12 16:18:44

  Flink SQL 实战：HBase 的结合应用

  本文着重介绍 HBase 和 Flink 在实际场景中的结合使用。主要分为两种场景，第一种场景：HBase 作为维表与 Flink Kafka table 做 temporal table join 的场景；第二种场景：Flink SQL 做计算之后的结果写到 HBase 表，供其他用户查询的场景。

  
• 12.05 12:02:42
  发表了文章 2020-12-05 12:02:42

  新场景 + 新应用，Flink 在机器学习领域的生产落地

  12月13日-15日，Flink Forward Asia 2020 机器学习专场，聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家，分享 Flink 机器学习的具体应用实践与实战案例。

  
• 12.04 13:09:45
  发表了文章 2020-12-04 13:09:45

  基于 Flink+Iceberg 构建企业级实时数据湖

  Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？

  
• 12.04 12:16:18
  发表了文章 2020-12-04 12:16:18

  从“流处理”到“流批一体”，Apache Flink 的19个企业最佳实践

  近年来，随着实时化需求的场景日益增多，企业已不满足于简单使用流计算或批计算进行数据处理，采用一套引擎即可实现低延迟、高吞吐、高稳定的强大性能逐渐成为更多企业的追求。Apache Flink 作为领先的开源大数据计算引擎，在流批一体的探索上日臻成熟，并在稳定性、性能和效率方面都经受住了阿里巴巴双11的严苛生产环境考验。

  

2020年11月

• 11.23 21:21:15
  发表了文章 2020-11-23 21:21:15

  实时计算案例：杭州企鹅科技

  公司依托领先的物联网技术，瞄准线下消费升级和差异化趋势，利用智慧物联技术连接并赋能线下商用设备实现商户的智能化管理，降低运维成本、提高收益；同时，为用户提供基于LBS定位的物联自助智能体验服务，满足用户体验的智能化，个性化需求。

  
• 11.23 13:13:28
  发表了文章 2020-11-23 13:13:28

  40亿条/秒！Flink流批一体在阿里双11首次落地的背后

  十年磨一剑。

  
• 11.20 16:35:29
  发表了文章 2020-11-20 16:35:29

  菜鸟实时数仓2.0进阶之路

  供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量的日均处理数据量，使得团队在建设进口实时数仓的过程中，面临着诸多挑战。

  
• 11.19 18:11:23
  发表了文章 2020-11-19 18:11:23

  快手基于 Apache Flink 的优化实践

  内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。

  
• 11.18 10:36:32
  发表了文章 2020-11-18 10:36:32

  Flink 双流 Join 的3种操作示例

  在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来实现双流 join，分别是：1、join()；2、coGroup()；3、intervalJoin()