勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 前端开发
- Linux
- 数据库
-
-
阿里云大模型高级工程师ACP认证
获得于2025-07-25 20:46:00 -
阿里云大数据分析师认证（ACP）
获得于2021-04-28 22:14:13
-
暂无个人介绍
-
发表了文章 2021-01-28
免费下载！从入门到精通，实时计算 Flink 版独家实战秘籍
9天 Get 企业级大数据实战能力！阿里巴巴核心研发团队手把手教学～
-
发表了文章 2021-01-28
Flink + Iceberg 全场景实时数仓的建设实践
Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。
-
发表了文章 2021-01-27
福利！
本期福利紧急运输中，敬请期待！
-
发表了文章 2021-01-26
Flink 助力美团数仓增量生产
本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：1、数仓增量生产；2、流式数据集成；3、流式数据处理；4、流式 OLAP 应用；5、未来规划。
-
发表了文章 2021-01-25
Flink SQL 在字节跳动的优化与实践
Flink 在字节的应用实战
-
发表了文章 2021-01-20
Flink as a Unified Engine: Now and Next
2020 年是 Apache Flink 社区生态加速繁荣的一年。
-
发表了文章 2021-01-20
Apache Flink 在实时金融数据湖的应用
本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。
-
发表了文章 2021-01-13
京东搜索排序在线学习的 Flink 优化实践
本文由京东搜索算法架构团队分享，主要介绍 Apache Flink 在京东商品搜索排序在线学习中的应用实践
-
发表了文章 2021-01-13
实时计算pv/uv Demo
本文由阿里巴巴高级技术专家邓小勇（静行）分享，主要用 Demo 演示如何通过实时计算 Flink 实时计算pv/uv的场景。
-
发表了文章 2021-01-12
如何迁移 Flink 任务到实时计算
本文由阿里巴巴技术专家景丽宁（砚田）分享，主要介绍如何迁移Flink任务到实时计算 Flink 中来。
-
发表了文章 2021-01-12
如何将实时计算 Flink 与自身环境打通
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 客训练营产品、技术专家齐上阵，从 Flink的发展、 Flink 的技术原理、应用场景及行业案例，到开源Flink功能介绍和实时计算 Flink 优势详解，现场实操，9天即可上手！ 本篇内容将介绍如何实时计算 Flink 与自身环境打通。
-
发表了文章 2021-01-12
如何使用 AutoPilot 对作业自动调优？
本文主要介绍如何使用 AutoPilot 对作业自动调优，解决 Flink 作业开发和运维的两大难题。
-
发表了文章 2021-01-12
如何跑通第一个 SQL 作业
本文由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍如何跑通第一个SQL。内容将从以下3个部分介绍：1、SQL的基本概念；2、SQL的语法说明；3、SQL 实战；
-
发表了文章 2021-01-12
如何跑通第一个 DataStream 作业
本文由阿里巴巴技术专家叶佳纯（自知）分享，主要介绍如何在实时计算 Flink 版中跑通 DataStream 作业。
-
发表了文章 2021-01-12
连续三年蝉联第一，Flink 荣膺全球最活跃的 Apache 开源项目
Apache 软件基金会 2020 年度总结发布，Flink 多项排名领先！
-
发表了文章 2021-01-07
开发效率提升15倍！批流融合实时平台在好未来的应用实践
本文由好未来资深数据平台工程师毛祥溢分享，主要介绍批流融合在教育行业的实践。内容包括两部分，第一部分是好未来在做实时平台中的几点思考，第二部分主要分享教育行业中特有数据分析场景。
-
发表了文章 2021-01-06
详解 Flink 容器化环境下的 OOM Killed
本文将解析 JVM 和 Flink 的内存模型，并总结在工作中遇到和在社区交流中了解到的造成 Flink 内存使用超出容器限制的常见原因。由于 Flink 内存使用与用户代码、部署环境、各种依赖版本等因素都有紧密关系，本文主要讨论 on YARN 部署、Oracle JDK/OpenJDK 8、Flink 1.10+ 的情况。
-
发表了文章 2021-01-05
数仓实时化改造：Hudi on Flink 在顺丰的实践应用
本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分：1、顺丰业务介绍；2、Hudi on Flink；3、产品化支持；4、后续计划。
-
发表了文章 2021-01-05
从 RxJS 到 Flink：如何处理数据流？
前端开发的本质是什么？响应式编程相对于 MVVM 或者 Redux 有什么优点？响应式编程的思想是否可以应用到后端开发中？本文以一个新闻网站为例，阐述在前端开发中如何使用响应式编程思想；再以计算电商平台双11每小时成交额为例，分享同样的思想在实时计算中的相同与不同之处。
-
发表了文章 2021-01-04
为什么阿里云要做流批一体？
流批一体已经从理论走向实践，并在 2020 年迎来落地元年。
-
发表了文章 2020-12-31
实战：Flink 1.12 维表 Join Hive 最新分区功能体验
我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求，其中 Hive 表是分区表，业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了，刚好支撑了这种业务场景，我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。
-
发表了文章 2020-12-28
实时计算 Flink 与你相约阿里云
如何使用实时计算 Flink 搞定实时数据处理难题？本文由阿里巴巴高级技术专家邓小勇老师分享，从实时计算的历史回顾着手，详细介绍了阿里云实时计算 Flink 的核心优势与应用场景，文章内容主要分为以下四部分：历史回眸、选择理由、产品介绍、未来可期
-
发表了文章 2020-12-28
如何开通实时计算 Flink 版
本文由阿里巴巴产品专家赵开兴分享，主要介绍实时计算 Flink的开通、功能及使用，并通过多个演示示例进行详细demo演示。内容主要分享以下几部分：1、Blink独享集群使用介绍；2、Flink 全托管集群的使用
-
发表了文章 2020-12-25
Flink Forward Asia 2020 -- Keynote 总结
12 月13 – 15 号，2020 Flink Forward Asia（FFA）在春雪的召唤下顺利拉开帷幕。Flink Forward Asia 是由 Apache 官方授权，Apache Flink Community China 支持举办的会议。经过两年的不断升级和完善，Flink Forward Asia 已成为国内最大的 Apache 顶级项目会议，是 Flink 开发者和使用者的年度盛会！
-
发表了文章 2020-12-23
实时计算 Flink 版应用场景与产品介绍
本文由阿里巴巴高级产品专家陈守元老师分享，详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例。
-
发表了文章 2020-12-17
官宣 | Apache Flink 1.12.0 正式发布，流批一体真正统一运行！
Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布！近 300 位贡献者参与了 Flink 1.12.0 的开发，提交了超过 1000 多个修复或优化。
-
发表了文章 2020-12-17
如何解决生产环境 Flink 应用的技术难题？
更好地释放 Flink 的强大算力，需要解决哪些问题？如何进行技术选型？针对业务的特点如何进行相应改进? 实践过程中需要规避哪些坑?
-
发表了文章 2020-12-17
【70+演讲PDF免费下载！】最全 Flink Forward Asia 2020 回顾
12月13日-15日，Flink Forward Asia 2020 在线峰会圆满落幕。为期三天的会议中，Flink 社区以超多干货，丰富内容打造了一场大数据与 Apache Flink 的全技术盛宴。
-
发表了文章 2020-12-16
Flink SQL 实战：双流 join 场景应用
大家都知道在使用 SQL 进行数据分析的过程中，join 是经常要使用的操作。在离线场景中，join 的数据集是有边界的，可以缓存数据有边界的数据集进行查询，有Nested Loop/Hash Join/Sort Merge Join 等多表 join；而在实时场景中，join 两侧的数据都是无边界的数据流，所以缓存数据集对长时间 job 来说，存储和查询压力很大。如何从容应对各种流式场景？
-
发表了文章 2020-12-12
Flink SQL 实战：HBase 的结合应用
本文着重介绍 HBase 和 Flink 在实际场景中的结合使用。主要分为两种场景，第一种场景：HBase 作为维表与 Flink Kafka table 做 temporal table join 的场景；第二种场景：Flink SQL 做计算之后的结果写到 HBase 表，供其他用户查询的场景。
-
发表了文章 2020-12-05
新场景 + 新应用，Flink 在机器学习领域的生产落地
12月13日-15日，Flink Forward Asia 2020 机器学习专场，聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家，分享 Flink 机器学习的具体应用实践与实战案例。
-
发表了文章 2020-12-04
基于 Flink+Iceberg 构建企业级实时数据湖
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？
-
发表了文章 2020-12-04
从“流处理”到“流批一体”，Apache Flink 的19个企业最佳实践
近年来，随着实时化需求的场景日益增多，企业已不满足于简单使用流计算或批计算进行数据处理，采用一套引擎即可实现低延迟、高吞吐、高稳定的强大性能逐渐成为更多企业的追求。Apache Flink 作为领先的开源大数据计算引擎，在流批一体的探索上日臻成熟，并在稳定性、性能和效率方面都经受住了阿里巴巴双11的严苛生产环境考验。
-
发表了文章 2020-11-23
实时计算案例：杭州企鹅科技
公司依托领先的物联网技术，瞄准线下消费升级和差异化趋势，利用智慧物联技术连接并赋能线下商用设备实现商户的智能化管理，降低运维成本、提高收益；同时，为用户提供基于LBS定位的物联自助智能体验服务，满足用户体验的智能化，个性化需求。
-
发表了文章 2020-11-23
40亿条/秒！Flink流批一体在阿里双11首次落地的背后
十年磨一剑。
-
发表了文章 2020-11-20
菜鸟实时数仓2.0进阶之路
供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量的日均处理数据量，使得团队在建设进口实时数仓的过程中，面临着诸多挑战。
-
发表了文章 2020-11-19
快手基于 Apache Flink 的优化实践
内容主要分为三部分。首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。
-
发表了文章 2020-11-18
Flink 双流 Join 的3种操作示例
在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来实现双流 join，分别是：1、join()；2、coGroup()；3、intervalJoin()
-
发表了文章 2020-11-11
深入解析 Flink 的算子链机制
“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”
-
发表了文章 2020-11-10
Flink + 强化学习搭建实时推荐系统
如何根据用户反馈作出快速及时的实时推荐？
-
发表了文章 2020-11-05
Flink 1.11 与 Hive 批流一体数仓实践
Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与Hive 进行整合。
-
发表了文章 2020-11-04
重磅发布！Flink Forward Asia 2020 在线峰会预约开启！
作为大数据领域的顶级盛会之一，Flink Forward 持续关注数据与算力的核心价值。12月13-15日，Flink Forward Asia 2020 在线峰会如约而至，全球 38+ 一线厂商，近 70+ 优质议题，即将重磅开启！
-
发表了文章 2020-11-03
基于 Flink SQL CDC 的实时数据同步方案
Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。
-
发表了文章 2020-11-03
Flink State 误用之痛，你中招了吗？
本文主要讨论一个问题：ValueState 中存 Map 与 MapState 有什么区别？如果不懂这两者的区别，而且使用 ValueState 中存大对象，生产环境很可能会出现以下问题：CPU 被打满、吞吐上不去。
-
发表了文章 2020-11-02
网易云音乐基于 Flink + Kafka 的实时数仓建设实践
本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。
-
发表了文章 2020-11-01
精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站（附PPT下载）
开源届前浪后浪全员凶猛，合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg，Flink 和 Hologres，Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案；还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。
-
发表了文章 2020-10-29
当 TiDB 与 Flink 相结合：高效、易用的实时数仓
利用实时数仓，企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。而得益于新版 Flink 对 SQL 的支持，以及 TiDB HTAP 的特性，我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。
-
发表了文章 2020-10-23
网易：Flink + Iceberg 数据湖探索与实践
今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖 Iceberg 的探索以及实践之路。
-
发表了文章 2020-10-21
如何生成 Flink 作业的交互式火焰图？
Flink 是目前最流行的大数据及流式计算框架之一，用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用，通过内部的 Java JIT、off-heap 内存管理等技术优化性能，并且有完整的 Source、Sink、WebUI、Metrics 等功能集成，让 Flink 几乎成为了流式计算的事实标准。
-
发表了文章 2020-10-21
Flink SQL 1.11 on Zeppelin 平台化实践
鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题，那么到底有没有一个开源的、开箱即用的、功能相对完善的组件呢？答案就是本文的主角——Apache Zeppelin。
-
发表了文章
2023-04-20
4 月 25 日直播预告 | 深入解读 Flink 1.17
-
发表了文章
2023-04-18
Flink CDC 在易车的应用实践
-
发表了文章
2023-04-17
基于 Flink CDC 的现代数据栈实践
-
发表了文章
2023-04-13
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
-
发表了文章
2023-04-13
海量数据实时分析引擎 Apache Flink
-
发表了文章
2023-04-11
Flink CDC 在京东的探索与实践
-
发表了文章
2023-04-10
FLINK 在蚂蚁大规模金融场景的平台建设
-
发表了文章
2023-04-06
快手基于 Apache Flink 的实时数仓建设实践
-
发表了文章
2023-04-06
Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题
-
发表了文章
2023-04-04
基于 Flink ML 搭建的智能运维算法服务及应用
-
发表了文章
2023-04-03
Flink SQL 在美团实时数仓中的增强与实践
-
发表了文章
2023-03-30
Apache Paimon 在同程旅行的探索实践
-
发表了文章
2023-03-29
如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题
-
发表了文章
2023-03-29
字节跳动 Flink 大规模云原生化实践
-
发表了文章
2023-03-28
Flink 流批一体方案在数禾的实践
-
发表了文章
2023-03-27
Flink Table Store 独立孵化启动 ，Apache Paimon 诞生
-
发表了文章
2023-03-24
Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架
-
发表了文章
2023-03-23
官宣｜Apache Flink 1.17 发布公告
-
发表了文章
2023-03-22
Airwallex 基于 Flink 打造实时风控系统
-
发表了文章
2023-03-21
流批一体在 AI 核心电商领域的探索与实践
-
回答了问题
2022-01-06
Flink Forward Asia 2021 有奖问答
各位开发者，正确的提问是： 进入对应专场问答入口添加回答：议题标题 + 问题 (而不是专场 + 问题哦) 还请关注 1 月 8-9 日的直播～ https://developer.aliyun.com/special/ffa2021/live赞0 踩1 评论0 -
提交了问题
2021-12-29
Flink Forward Asia 2021 有奖问答
-
提交了问题
2021-12-28
Flink Forward Asia 2021 机器学习专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 生产实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 开源解决方案专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 流批一体专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数仓专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数据湖专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 平台建设专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 行业实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 核心技术专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 主会场
-
提交了问题
2018-10-26
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
-
回答了问题
2019-07-17
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
在create table的时候别名使用不同别名即可。 create table a ()； create table b();赞0 踩0 评论0 -
提交了问题
2018-10-18
Flink在Yarn HA模式下报错
-
回答了问题
2019-07-17
大神，请教一下阿里的Blink平台业务方使用是强制要求只能写sql和udf么？
参考下Hadoop过渡到Hive，绝大部分MR都使用SQL替换了。从软件演化角度来看，高阶表达更利于业务迭代。阿里云实时计算(Blink) 实际上支持非SQL，购买独享模式，使用TableAPI或者DataStreamAPI都可以。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink on yarn大家实际生产上，是用yarn session方式还是single yarn job？这两个方式如何选择
社区了解到的，Single Job 更多些赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink在Yarn HA模式下报错
修改为yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider赞0 踩0 评论0
