阿里云实时计算Flink_社区达人页

2020年11月

• 11.11 19:56:38
  发表了文章 2020-11-11 19:56:38

  深入解析 Flink 的算子链机制

  “为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”

  
• 11.10 17:32:30
  发表了文章 2020-11-10 17:32:30

  Flink + 强化学习搭建实时推荐系统

  如何根据用户反馈作出快速及时的实时推荐？

  
• 11.05 11:07:51
  发表了文章 2020-11-05 11:07:51

  Flink 1.11 与 Hive 批流一体数仓实践

  Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与Hive 进行整合。

  
• 11.04 18:22:32
  发表了文章 2020-11-04 18:22:32

  重磅发布！Flink Forward Asia 2020 在线峰会预约开启！

  作为大数据领域的顶级盛会之一，Flink Forward 持续关注数据与算力的核心价值。12月13-15日，Flink Forward Asia 2020 在线峰会如约而至，全球 38+ 一线厂商，近 70+ 优质议题，即将重磅开启！

  
• 11.03 17:10:50
  发表了文章 2020-11-03 17:10:50

  基于 Flink SQL CDC 的实时数据同步方案

  Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。

  
• 11.03 10:52:12
  发表了文章 2020-11-03 10:52:12

  Flink State 误用之痛，你中招了吗？

  本文主要讨论一个问题：ValueState 中存 Map 与 MapState 有什么区别？如果不懂这两者的区别，而且使用 ValueState 中存大对象，生产环境很可能会出现以下问题：CPU 被打满、吞吐上不去。

  
• 11.02 19:24:14
  发表了文章 2020-11-02 19:24:14

  网易云音乐基于 Flink + Kafka 的实时数仓建设实践

  本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。

  
• 11.01 21:10:29
  发表了文章 2020-11-01 21:10:29

  精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站（附PPT下载）

  开源届前浪后浪全员凶猛，合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg，Flink 和 Hologres，Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案；还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。

  

2020年10月

• 10.29 15:56:39
  发表了文章 2020-10-29 15:56:39

  当 TiDB 与 Flink 相结合：高效、易用的实时数仓

  利用实时数仓，企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。而得益于新版 Flink 对 SQL 的支持，以及 TiDB HTAP 的特性，我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。

  
• 10.23 14:50:27
  发表了文章 2020-10-23 14:50:27

  网易：Flink + Iceberg 数据湖探索与实践

  今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖 Iceberg 的探索以及实践之路。

  
• 10.21 12:29:25
  发表了文章 2020-10-21 12:29:25

  如何生成 Flink 作业的交互式火焰图？

  Flink 是目前最流行的大数据及流式计算框架之一，用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用，通过内部的 Java JIT、off-heap 内存管理等技术优化性能，并且有完整的 Source、Sink、WebUI、Metrics 等功能集成，让 Flink 几乎成为了流式计算的事实标准。

  
• 10.21 12:23:53
  发表了文章 2020-10-21 12:23:53

  Flink SQL 1.11 on Zeppelin 平台化实践

  鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题，那么到底有没有一个开源的、开箱即用的、功能相对完善的组件呢？答案就是本文的主角——Apache Zeppelin。

  
• 10.21 12:01:41
  发表了文章 2020-10-21 12:01:41

  从 Storm 迁移到 Flink，美团外卖实时数仓建设实践

  本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。

  
• 10.21 11:25:24
  发表了文章 2020-10-21 11:25:24

  数据湖有新解！Apache Hudi 与 Apache Flink 集成

  纵观大数据领域成熟、活跃、有生命力的框架，无一不是设计优雅，能与其他框架相互融合，彼此借力，各专所长。

  
• 10.21 11:19:09
  发表了文章 2020-10-21 11:19:09

  基于 Flink + ClickHouse 打造轻量级点击流实时数仓

  Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。

  
• 10.21 11:14:56
  发表了文章 2020-10-21 11:14:56

  Flink JDBC Connector：Flink 与数据库集成最佳实践

  Flink 1.11 引入了 CDC，在此基础上， JDBC Connector 也发生比较大的变化，本文由 Apache Flink Contributor，阿里巴巴高级开发工程师徐榜江（雪尽）分享，主要介绍 Flink 1.11 JDBC Connector 的最佳实践。

  
• 10.20 15:52:49
  发表了文章 2020-10-20 15:52:49

  BIGDATA+AI Meetup 2020第二季·上海站开启报名！

  时隔4个月，大数据江湖又有哪些风起云涌的技术突破，互联网大厂又探索出怎样的无价经验，敬请期待由阿里云计算平台事业部与阿里云开发者社区联合主办的大数据+AI meetup 2020第二站·上海。

  
• 10.19 20:13:44
  发表了文章 2020-10-19 20:13:44

  持续更新！实时计算及 Flink 大厂招聘信息汇总

  大家好，为帮助大家更好的找到适合的岗位，拿到心仪公司的offer，社区收集了多家实时计算及 Flink 企业用户的招聘需求，如：知乎、VIPKID、新氧、作业帮、得物、好未来、阿里巴巴等招聘信息，整理如下，供大家参考。

  
• 10.15 15:27:41
  发表了文章 2020-10-15 15:27:41

  大数据上手实战！训练营“9营齐开”第二季限时免费报名啦

  首期大数据“9营齐开”计划吸引了10000+开发者报名参与，成为今夏最火爆的大数据训练营！伴随着第一季训练营的完美落幕，大数据训练营“九营齐开”第二季已蓄势待发！

  
• 10.13 11:55:37
  发表了文章 2020-10-13 11:55:37

  实时计算案例:上海鸥新软件

  Wifi 探针作为整个系统的数据源，其布点是系统成功的关键，布点之间是否重叠，数据是否精确，能否避 免数据互相污染是鸥新软件当前面临的主要挑战。

  
• 10.13 11:52:43
  发表了文章 2020-10-13 11:52:43

  实时计算案例:新华智云

  面对多个数据上游、多个数据下游，数据处理过程复杂，既有清洗、结构化的工作，又有多维度统计工作的挑战，新华智云的数芯平台选择放弃开源 Spark 技术方案，而整体迁移到一站式、高性能实时大数据处理平台阿里云实时计算。

  
• 10.13 11:34:25
  发表了文章 2020-10-13 11:34:25

  实时计算案例:菜鸟物流

  如何保障其仓配实时数据的丝滑顺畅, 建立带有“仓配特色”的实时数据 版图是菜鸟物流当前亟待解决的关键问题。

  
• 10.13 11:31:48
  发表了文章 2020-10-13 11:31:48

  实时计算案例:阿里巴巴双11大屏

  每年的双 11 于阿里而言都是一次数据大考，天猫双 11 大屏更是万众瞩目，全球大数据泄洪般涌 入，对数据处理系统提出了极高的要求:低延迟，GMV 首屏显数控制 5s 以内;高并发，实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定，全球直播，不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战，在这种场景下阿里云实时计算迎难而上，给出了完美的答卷。

  

2020年09月

• 09.29 14:17:57
  发表了文章 2020-09-29 14:17:57

  码住！Flink Contributor 速成指南

  不管初衷是什么，Flink 都非常欢迎大家一起建设和完善社区。在开始具体的贡献步骤之前，我们先简要介绍一下参与贡献的几种途径，以及 Clarify 关于开源贡献的一些固有印象。

  
• 09.29 11:19:58
  发表了文章 2020-09-29 11:19:58

  基于 Flink + Hive 构建流批一体准实时数仓

  想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗？并不是，借助 Flink 可以实现已有的 Hive 离线数仓准实时化。本文整理自 Apache Flink Committer、阿里巴巴技术专家李劲松的分享，文章将分析当前离线数仓实时化的难点，详解 Flink 如何解决 Hive 流批一体准实时数仓的难题，实现更高效、合理的资源配置。

  
• 09.29 10:54:24
  发表了文章 2020-09-29 10:54:24

  字节跳动 Flink 单点恢复功能实践

  在 Flink 现有的架构设计中，多流 Join 拓扑下单个 Task 失败会导致所有 Task 重新部署，耗时可能会持续几分钟，导致作业的输出断流，这对于线上业务来说是不可接受的。针对这一痛点，字节提出单点恢复的方案。

  
• 09.25 14:09:21
  发表了文章 2020-09-25 14:09:21

  Flink SQL CDC 上线！我们总结了 13 条生产实践经验

  针对平台现在存在的问题，我们提出了把报表的数据实时化的方案。该方案主要通过 Flink SQL CDC + Elasticsearch 实现。Flink SQL 支持 CDC 模式的数据同步，将 MySQL 中的全增量数据实时地采集、预计算、并同步到 Elasticsearch 中，Elasticsearch 作为我们的实时报表和即席分析引擎。

  
• 09.24 23:59:36
  发表了文章 2020-09-24 23:59:36

  PyFlink + 区块链？揭秘行业领头企业 BTC.com 如何实现实时计算

  从实时计算的趋势，到流批一体的架构，通过对 PyFlink 和 Flink 的学习，稳定在线上运行了多种作业任务，对接了实际业务需求。并且搭建了 Zeppelin 平台，使得业务开发上更加方便。在计算上尽可能地依赖 SQL，方便各方面的集成与调试。

  
• 09.21 16:58:22
  发表了文章 2020-09-21 16:58:22

  Flink RocksDB 状态后端参数调优实践

  RocksDB 的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存储这一方面，我们仍然可以总结出一些相对普适的优化思路。本文先介绍一些基础知识，再列举方法。

  
• 09.21 16:33:09
  发表了文章 2020-09-21 16:33:09

  王者荣耀背后的实时大数据平台用了什么黑科技？

  实时方面主要是补足我们对游戏运营的体验，比如说在游戏里玩完一局或者做完一个任务后，立马就能得到相应的奖励，或者下一步的玩法指引。对用户来说，这种及时的刺激和干预，对于他们玩游戏的体验会更好。其实不单单是游戏，其他方面也是一样的，所以我们在做这套系统的时候，就是离线+实时结合着用，但主要还是往实时方面去靠拢，未来大数据的方向也是，尽量会往实时方向去走。

  
• 09.21 14:58:14
  发表了文章 2020-09-21 14:58:14

  【行业应用】阿里云实时计算 Flink 版 IoT 行业解决方案

  物联网拉近分散的资讯，统整物与物的数位信息，主要应用领域包括以下方面：运输和物流领域、健康医疗领域、智慧环境(家庭、办公、工厂)领域、个人和社会领域等，具有十分广阔的市场应用前景。物联网将智能感知、识别技术、网络通信与普适计算等技术融合起来，被认为是继计算机、互联网、智能手机之后世界信息产业发展的下一个风口。

  
• 09.21 14:47:56
  发表了文章 2020-09-21 14:47:56

  【行业应用】阿里云实时计算 Flink 版在运维领域解决方案

  相比于传统的运维方式，大数据时代的运维面临着集群规模更大、业务组件更多、监控可视化与智能化等更为复杂的难题。

  
• 09.21 14:31:23
  发表了文章 2020-09-21 14:31:23

  【行业应用】阿里云实时计算 Flink 版游戏行业解决方案

  游戏作为新兴崛起的娱乐产业，当下发展得如火如荼，其吸金能力和趣味性也吸引更多企业与人才投入其中。游戏行业公司主要分为发行和制作两类，游戏的类型可细分为手游、页游和端游三种，随着移动端设备的更新发展以及 5G 时代的降临，手游将迎来绝佳的发展时机。

  
• 09.21 14:15:19
  发表了文章 2020-09-21 14:15:19

  【行业应用】阿里云实时计算 Flink 版物流行业解决方案

  物流行业，特别是跨境进出口是非常复杂的业务，链路长、环节多、业务场景复杂。在物流履行时效不断加快的当下，物流服务一步步向次日达甚至当日达迈进，离线日报的日更频率早已无法满足业务需求。

  
• 09.21 14:03:35
  发表了文章 2020-09-21 14:03:35

  【行业应用】阿里云实时计算 Flink 版广告行业解决方案

  互联网广告领域经过长期发展，分工逐渐精细化，除了各种代理商之外，还出现了 ADN、SSP、ADX、DSP 等各种平台，市场结构极为复杂，形成了一个巨大的生态。

  
• 09.21 13:55:04
  发表了文章 2020-09-21 13:55:04

  【行业应用】阿里云实时计算 Flink 版电商行业解决方案

  电商行业的整体的竞争也从之前对大量互联网新用户的抢占变为对市场已有用户的争夺，流量红利逐渐见底，平台获客成本持续增高。原有的“大范围”、“广撒网”的运营方式已经不能满足业务需求，迫切需要向数字化、精细化、个性化运营的方向进行转型。

  
• 09.16 16:15:10
  发表了文章 2020-09-16 16:15:10

  重新定义性能测试: Apache Flink 重磅开源流计算基准测试框架

  每一种引擎有其优势的地方，如何选择适合自己业务的流计算引擎成了一个由来已久的话题。除了比较各个引擎提供的不同的功能矩阵之外，性能是一个无法绕开的评估因素。基准测试（benchmark）就是用来评估系统性能的一个重要和常见的过程。

  
• 09.16 15:57:11
  发表了文章 2020-09-16 15:57:11

  社区活动 | Apache Flink Meetup·深圳站，锁定 Flink 最佳实践

  9月26日，来自阿里巴巴、英特尔、顺丰、腾讯的四位技术专家与你分享 Flink 最新企业应用实践，以及与时下热门的数据湖、数仓、社区生态的结合有哪些新进展。

  
• 09.16 15:17:18
  发表了文章 2020-09-16 15:17:18

  腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

  当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。

  
• 09.16 14:34:37
  发表了文章 2020-09-16 14:34:37

  如何基于 Flink 生成在线机器学习的样本？

  在线机器学习与离线相比，在模型更新的时效性，模型的迭代周期，业务实验效果等方面有更好的表现。所以将机器学习从离线迁移到在线已经成为提升业务指标的一个有效的手段。在线机器学习中，样本是关键的一环。本文将给大家详细的介绍微博是如何用 Flink 来实现在线样本生成的。

  
• 09.11 23:32:52
  发表了文章 2020-09-11 23:32:52

  第一季收官之作！实时计算 Flink 极客训练营限额免费报名中

  作为开源 Flink 极客训练营与实时计算 Flink 产品训练营的结合，此次训练营集两大训练营课程之大成，一如既往的全 Flink PMC & Committer 阵容，内容更加丰富，课程节奏紧密，还可选修感兴趣的内容，学习更自由。

  
• 09.10 18:31:08
  发表了文章 2020-09-10 18:31:08

  【行业应用】阿里云实时计算 Flink 版内容资讯解决方案

  在日益激烈的行业竞争态势下，各个主流内容资讯提供商都在探索 AI+大数据的解决方案，来进行精细化运营，助力业务发展新模式

  
• 09.10 18:25:58
  发表了文章 2020-09-10 18:25:58

  【行业应用】阿里云实时计算 Flink 版在线教育解决方案

  iiMedia Research(艾媒咨询)数据显示，2020 年中国在线教育用户规模将达 3.09 亿人，市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响，未来 K12 在线教育市场需求还将继续扩大。

  
• 09.10 18:19:08
  发表了文章 2020-09-10 18:19:08

  【行业应用】阿里云实时计算 Flink 版金融行业解决方案

  基于实时计算 Flink 版的解决方案可帮助金融机构从容应对上述挑战，通过 Flink 构建实时数仓、实时反欺诈系统，助力金融机构快速构建实时风控体系。

  
• 09.10 18:05:38
  发表了文章 2020-09-10 18:05:38

  最新发布！《阿里云实时计算 Flink 版解决方案白皮书-2021版》开放下载

  阿里云实时计算 Flink 版解决方案白皮书-2021版正式发布～

  
• 09.08 16:13:10
  发表了文章 2020-09-08 16:13:10

  Flink SQL 1.11 新功能与最佳实践

  旨在帮助用户快速了解新版本 Table & SQL 在 Connectivity 和 Simplicity 等方面的优化及实际开发使用的最佳实践。

  
• 09.03 16:36:38
  发表了文章 2020-09-03 16:36:38

  @所有人 Flink Forward Asia 2020 向您发出议题征集邀请！

  2020年，加快应用数字技术，推动企业的数字化转型、科学高效发展几乎已成为业界共识。人工智能、大数据、云计算、移动互联网...每一场技术革新都曾被寄予厚望。在此背景下，企业与个人如何不被时代浪潮裹挟，寻找核心技术的未来价值？

  
• 09.03 11:05:37
  发表了文章 2020-09-03 11:05:37

  Zeppelin SDK ：Flink 平台建设的基石

  用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI，因为 Zeppelin 的主要使用场景都是交互式，用户需要手动来操作。那除了这种手动的方式，还有其他的方式吗？如果你不想用 Zeppelin UI，但又想用 Zeppelin 提交和管理大数据作业 （比如 Flink Job）的能力该怎么办？或者是你在 Zeppelin 里写好了代码，想定时调度起来，或者集成到其他系统里，该怎么办？