实时计算 Flink

滴滴实时计算引擎从 Flink-1.4 无缝升级到 Flink-1.10 版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL 引擎等进行了一些优化，在性能和易用性上相较旧版本都有很大提升。

9天 Get 企业级大数据实战能力！阿里巴巴核心研发团队手把手教学～

Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。

本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式 OLAP 应用；5、未来规划。

Flink 在字节的应用实战

2020 年是 Apache Flink 社区生态加速繁荣的一年。

本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。

本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践

本文由阿里巴巴高级技术专家邓小勇（静行）分享，主要用 Demo 演示如何通过实时计算 Flink 实时计算pv/uv的场景。

本文由阿里巴巴技术专家景丽宁（砚田）分享，主要介绍如何迁移Flink任务到实时计算 Flink 中来。

如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 客训练营产品、技术专家齐上阵，从 Flink的发展、 Flink 的技术原理、应用场景及行业案例，到开源Flink功能介绍和实时计算 Flink 优势详解，现场实操，9天即可上手！ 本篇内容将介绍如何实时计算 Flink 与自身环境打通。

本文主要介绍如何使用 AutoPilot 对作业自动调优，解决 Flink 作业开发和运维的两大难题。

本文由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍如何跑通第一个SQL。内容将从以下3个部分介绍：1、SQL的基本概念；2、SQL的语法说明；3、SQL 实战；

本文由阿里巴巴技术专家叶佳纯（自知）分享，主要介绍如何在实时计算 Flink 版中跑通 DataStream 作业。

Apache 软件基金会 2020 年度总结发布，Flink 多项排名领先！

本文由好未来资深数据平台工程师毛祥溢分享，主要介绍批流融合在教育行业的实践。内容包括两部分，第一部分是好未来在做实时平台中的几点思考，第二部分主要分享教育行业中特有数据分析场景。

本文将解析 JVM 和 Flink 的内存模型，并总结在工作中遇到和在社区交流中了解到的造成 Flink 内存使用超出容器限制的常见原因。由于 Flink 内存使用与用户代码、部署环境、各种依赖版本等因素都有紧密关系，本文主要讨论 on YARN 部署、Oracle JDK/OpenJDK 8、Flink 1.10+ 的情况。

本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分：1、顺丰业务介绍；2、Hudi on Flink；3、产品化支持；4、后续计划。

前端开发的本质是什么？响应式编程相对于 MVVM 或者 Redux 有什么优点？响应式编程的思想是否可以应用到后端开发中？本文以一个新闻网站为例，阐述在前端开发中如何使用响应式编程思想；再以计算电商平台双11每小时成交额为例，分享同样的思想在实时计算中的相同与不同之处。

流批一体已经从理论走向实践，并在 2020 年迎来落地元年。

我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求，其中 Hive 表是分区表，业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了，刚好支撑了这种业务场景，我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。

如何使用实时计算 Flink 搞定实时数据处理难题？本文由阿里巴巴高级技术专家邓小勇老师分享，从实时计算的历史回顾着手，详细介绍了阿里云实时计算 Flink 的核心优势与应用场景，文章内容主要分为以下四部分：历史回眸、选择理由、产品介绍、未来可期

本文由阿里巴巴产品专家赵开兴分享，主要介绍实时计算 Flink的开通、功能及使用，并通过多个演示示例进行详细demo演示。内容主要分享以下几部分：1、Blink独享集群使用介绍；2、Flink 全托管集群的使用

12 月13 – 15 号，2020 Flink Forward Asia（FFA）在春雪的召唤下顺利拉开帷幕。Flink Forward Asia 是由 Apache 官方授权，Apache Flink Community China 支持举办的会议。经过两年的不断升级和完善，Flink Forward Asia 已成为国内最大的 Apache 顶级项目会议，是 Flink 开发者和使用者的年度盛会！

本文由阿里巴巴高级产品专家陈守元老师分享，详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例。

Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布！近 300 位贡献者参与了 Flink 1.12.0 的开发，提交了超过 1000 多个修复或优化。

更好地释放 Flink 的强大算力，需要解决哪些问题？如何进行技术选型？针对业务的特点如何进行相应改进? 实践过程中需要规避哪些坑?

12月13日-15日，Flink Forward Asia 2020 在线峰会圆满落幕。为期三天的会议中，Flink 社区以超多干货，丰富内容打造了一场大数据与 Apache Flink 的全技术盛宴。

大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中，join 的数据集是有边界的，可以缓存数据有边界的数据集进行查询，有Nested Loop/Hash Join/Sort Merge Join 等多表 join；而在实时场景中，join 两侧的数据都是无边界的数据流，所以缓存数据集对长时间 job 来说，存储和查询压力很大。如何从容应对各种流式场景？

本文着重介绍 HBase 和 Flink 在实际场景中的结合使用。主要分为两种场景，第一种场景：HBase 作为维表与 Flink Kafka table 做 temporal table join 的场景；第二种场景：Flink SQL 做计算之后的结果写到 HBase 表，供其他用户查询的场景。

12月13日-15日，Flink Forward Asia 2020 机器学习专场，聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家，分享 Flink 机器学习的具体应用实践与实战案例。

Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？

近年来，随着实时化需求的场景日益增多，企业已不满足于简单使用流计算或批计算进行数据处理，采用一套引擎即可实现低延迟、高吞吐、高稳定的强大性能逐渐成为更多企业的追求。Apache Flink 作为领先的开源大数据计算引擎，在流批一体的探索上日臻成熟，并在稳定性、性能和效率方面都经受住了阿里巴巴双11的严苛生产环境考验。

公司依托领先的物联网技术，瞄准线下消费升级和差异化趋势，利用智慧物联技术连接并赋能线下商用设备实现商户的智能化管理，降低运维成本、提高收益；同时，为用户提供基于LBS定位的物联自助智能体验服务，满足用户体验的智能化，个性化需求。

十年磨一剑。

供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量的日均处理数据量，使得团队在建设进口实时数仓的过程中，面临着诸多挑战。

内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。

在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来实现双流 join，分别是：1、join()；2、coGroup()；3、intervalJoin()

“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”

如何根据用户反馈作出快速及时的实时推荐？

Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与Hive 进行整合。

作为大数据领域的顶级盛会之一，Flink Forward 持续关注数据与算力的核心价值。12月13-15日，Flink Forward Asia 2020 在线峰会如约而至，全球 38+ 一线厂商，近 70+ 优质议题，即将重磅开启！

Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。

本文主要讨论一个问题：ValueState 中存 Map 与 MapState 有什么区别？如果不懂这两者的区别，而且使用 ValueState 中存大对象，生产环境很可能会出现以下问题：CPU 被打满、吞吐上不去。

本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。

开源届前浪后浪全员凶猛，合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg，Flink 和 Hologres，Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案；还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。

利用实时数仓，企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。而得益于新版 Flink 对 SQL 的支持，以及 TiDB HTAP 的特性，我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。

今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖 Iceberg 的探索以及实践之路。

Flink 是目前最流行的大数据及流式计算框架之一，用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用，通过内部的 Java JIT、off-heap 内存管理等技术优化性能，并且有完整的 Source、Sink、WebUI、Metrics 等功能集成，让 Flink 几乎成为了流式计算的事实标准。

鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题，那么到底有没有一个开源的、开箱即用的、功能相对完善的组件呢？答案就是本文的主角——Apache Zeppelin。