勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 前端开发
- Linux
- 数据库
-
-
阿里云大模型高级工程师ACP认证
获得于2025-07-25 20:46:00 -
阿里云大数据分析师认证（ACP）
获得于2021-04-28 22:14:13
-
暂无个人介绍
-
发表了文章 2019-12-27
携程实时智能检测平台建设实践
Prophet基本覆盖了携程所有业务线，监控指标的数量达到10K+，覆盖了携程所有订单、支付等重要的业务指标。
-
发表了文章 2019-12-27
携程实时智能检测平台建设实践
rophet基本覆盖了携程所有业务线，监控指标的数量达到10K+，覆盖了携程所有订单、支付等重要的业务指标。Prophet将时间序列的数据作为数据输入，以监控平台作为接入对象，以智能告警实现异常的告警功能，并基于Flink实时计算引擎来实现异常的实时预警，提供一站式异常检测解决方案。
-
发表了文章 2019-12-27
年度回顾 | 2019 年的 Apache Flink（文末有福利）
2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink 迎来了快速的发展。
-
发表了文章 2019-12-27
年度回顾 | 2019 年的 Apache Flink（文末有福利）
2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink 迎来了快速的发展。
-
发表了文章 2019-12-25
在 Flink 算子中使用多线程如何保证不丢数据？
本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。
-
发表了文章 2019-12-25
在 Flink 算子中使用多线程如何保证不丢数据？
本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。
-
发表了文章 2019-12-24
日处理数据量超10亿：友信金服基于Flink构建实时用户画像系统的实践
友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构建统一的数据资产，如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立，旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿，接入上百种合规数据源。
-
发表了文章 2019-12-24
日处理数据量超10亿：友信金服基于Flink构建实时用户画像系统的实践
在此背景下，友信金服公司推行全域的数据体系战略，通过打通和整合集团各个业务线数据，利用大数据、人工智能等技术构建统一的数据资产，如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立，旨在实现“数据驱动业务与运营”的集团战略。
-
发表了文章 2019-12-24
Flink Weekly | 每周社区动态更新-12/24
本期的主要内容由 Hequn Cheng 整理，包括：发布 Flink 1.10 和 Flink 1.9.2 的更新，关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论，PyFlink 后期新功能的讨论以及一些博客文章。
-
发表了文章 2019-12-24
Flink Weekly | 每周社区更新-12/24
本期的主要内容包括：发布 Flink 1.10 和 Flink 1.9.2 的更新，关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论，PyFlink 后期新功能的讨论以及一些博客文章。
-
发表了文章 2019-12-19
State Processor API：如何读取，写入和修改 Flink 应用程序的状态
Apache Flink 1.9.0引入了状态处理器（`State Processor`）API，它是基于DataSet API的强大扩展，允许读取，写入和修改Flink的保存点和检查点（checkpoint）中的状态。
-
发表了文章 2019-12-19
State Processor API：如何读取，写入和修改 Flink 应用程序的状态
Apache Flink 1.9.0引入了状态处理器（`State Processor`）API，它是基于DataSet API的强大扩展，允许读取，写入和修改Flink的保存点和检查点（checkpoint）中的状态。
-
发表了文章 2019-12-18
Flink SQL 如何实现数据流的 Join？
Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。
-
发表了文章 2019-12-18
Flink SQL 如何实现数据流的 Join？
Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。
-
发表了文章 2019-12-17
Lyft 基于 Flink 的大规模准实时数据分析平台（附FFA大会视频）
如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。
-
发表了文章 2019-12-17
Lyft 基于 Flink 的大规模准实时数据分析平台（附FFA大会视频）
如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。
-
发表了文章 2019-12-17
仅1年GitHub Star数翻倍，Flink 做了什么？
在 Flink Forward Asia 2019 上，阿里巴巴资深技术专家，实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进，阿里对 Flink 社区的贡献以及未来 Flink 的最新发展方向。
-
发表了文章 2019-12-17
仅 1 年 GitHub Star 数翻倍，Flink 做了什么？
在 Flink Forward Asia 2019 上，阿里巴巴资深技术专家，实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进，阿里对 Flink 社区的贡献以及未来 Flink 的最新发展方向。
-
发表了文章 2019-12-12
Flink Batch SQL 1.10 实践
1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。
-
发表了文章 2019-12-12
Flink Batch SQL 1.10 实践
1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。
-
发表了文章 2019-12-11
如何在 PyFlink 1.10 中自定义 Python UDF？
本篇从架构到 UDF 接口定义，再到具体的实例，向大家介绍了在 Apache Flink 1.10 发布之后，如何利用 PyFlink 进行业务开发。
-
发表了文章 2019-12-11
如何在 PyFlink 1.10 中自定义 Python UDF？
本篇从架构到 UDF 接口定义，再到具体的实例，向大家介绍了在 Apache Flink 1.10 发布之后，如何利用 PyFlink 进行业务开发
-
发表了文章 2019-12-11
在 Cloudera Data Flow 上运行你的第一个 Flink 例子
本文主要是介绍如何在 CDH6.3 中安装 Flink 1.9 以及运行你的第一个 Flink 例子。
-
发表了文章 2019-12-11
在 Cloudera Data Flow 上运行你的第一个 Flink 例子
本文主要是介绍如何在 CDH6.3 中安装 Flink 1.9 以及运行你的第一个 Flink 例子。
-
发表了文章 2019-12-09
Apache Flink CEP 实战
本文根据Apache Flink 实战&进阶篇系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给打算使用或者已经使用的同学一些帮助。
-
发表了文章 2019-12-04
Flink Forward Asia 2019 - 总结和展望（附PPT下载链接）
11 月 28 - 30 日，北京迎来了入冬以来的第一场雪，2019 Flink Forward Asia（FFA）也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷，FFA 实际到会人次超过 2000，同比去年增加近 100%。
-
发表了文章 2019-12-04
Flink Forward Asia 2019 - 总结和展望（附PPT下载链接）
11 月 28 - 30 日，北京迎来了入冬以来的第一场雪，2019 Flink Forward Asia（FFA）也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷，FFA 实际到会人次超过 2000，同比去年增加近 100%。
-
发表了文章 2019-12-04
阿里重磅开源全球首个批流一体机器学习平台Alink，Blink功能已全部贡献至Flink
11月28日，Flink Forward Asia 2019 在北京国家会议中心召开，阿里在会上发布Flink 1.10版本功能前瞻，同时宣布基于Flink的机器学习算法平台Alink正式开源，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
发表了文章 2019-12-03
阿里重磅开源全球首个批流一体机器学习平台Alink，Blink功能已全部贡献至Flink
11月28日，Flink Forward Asia 2019 在北京国家会议中心召开，阿里在会上发布Flink 1.10版本功能前瞻，同时宣布基于Flink的机器学习算法平台Alink正式开源，这也是全球首个批流一体的算法平台，旨在降低算法开发门槛，帮助开发者掌握机器学习的生命全周期。
-
发表了文章 2019-11-22
Flink 实战：如何解决生产环境中的技术难题？
Apache Flink 作为业界公认为最好的流计算引擎，不仅仅局限于做流处理，而是一套兼具流、批、机器学习等多种计算功能的大数据引擎，以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级，并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。
-
发表了文章 2019-11-18
如何分析及处理 Flink 反压？
反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。
-
发表了文章 2019-11-18
Flink 在人工智能领域的应用实践
Flink 机器学习进度几何？如何将 Flink 与 TensorFlow 等框架相结合？有哪些 Flink 在机器学习上的生产实践应用？为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。
-
发表了文章 2019-11-18
Ververica Platform-阿里巴巴全新Flink企业版揭秘
本文主要从Ververica由来开始谈起，着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini，以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。
-
发表了文章 2019-11-18
咱们从头到尾讲一次 Flink 网络流控和反压剖析
文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制（before V1.5）、Flink Credit-based 反压机制 （since V1.5）、总结与思考等几个方面进行分享。
-
发表了文章 2019-11-18
Apache Flink 的迁移之路，2 年处理效果提升 5 倍
在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。
-
发表了文章 2019-11-18
基于 Flink 的实时数仓生产实践
数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战。在智能商业中，数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策，更好地进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
-
发表了文章 2019-11-14
Apache Flink 进阶（八）：详解 Metrics 原理与实战
Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。
-
发表了文章 2019-11-13
开源大数据生态下的 Flink 应用实践
11 月 28-30 日，Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的优秀实践。
-
发表了文章 2019-11-13
开源大数据生态下的 Flink 应用实践
11 月 28-30 日，Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的优秀实践。
-
发表了文章 2019-11-12
Flink State 有可能代替数据库吗？
State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界不禁思考: State 和 Database 是何种关系？有没有可能用 State 来代替数据库呢？
-
发表了文章 2019-11-12
Flink State 有可能代替数据库吗？
State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界不禁思考: State 和 Database 是何种关系？有没有可能用 State 来代替数据库呢？
-
发表了文章 2019-11-11
Apache Flink 为什么能够成为新一代大数据计算引擎？
大数据时代对人类的数据驾驭能力提出了新的挑战，Flink 的诞生为企业用户获得更为快速、准确的计算能力提供了前所未有的空间与潜力。作为公认的新一代大数据计算引擎，Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选？
-
发表了文章 2019-11-11
趣头条基于 Flink 的实时平台建设实践
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。
-
发表了文章 2019-11-07
Apache Flink 为什么能够成为新一代大数据计算引擎？
大数据时代对人类的数据驾驭能力提出了新的挑战，Flink 的诞生为企业用户获得更为快速、准确的计算能力提供了前所未有的空间与潜力。作为公认的新一代大数据计算引擎，Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选？
-
发表了文章 2019-11-07
趣头条基于 Flink 的实时平台建设实践
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。
-
发表了文章 2019-11-07
Apache Flink 的迁移之路，2 年处理效果提升 5 倍
在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。
-
发表了文章 2019-11-05
咱们从头到尾讲一次 Flink 网络流控和反压剖析
文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制（before V1.5）、Flink Credit-based 反压机制 （since V1.5）、总结与思考等几个方面进行分享。
-
发表了文章 2019-11-05
Apache Flink 进阶（六）：Flink 作业执行深度解析
本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。
-
发表了文章 2019-10-31
企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题？
业务数据的指数级扩张，数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景，在生产实践中已有丰富的案例与优秀的经验。
-
发表了文章 2019-10-30
Ververica Platform-阿里巴巴全新Flink企业版揭秘
本文主要从Ververica由来开始谈起，着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini，以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。
-
发表了文章
2023-04-20
4 月 25 日直播预告 | 深入解读 Flink 1.17
-
发表了文章
2023-04-18
Flink CDC 在易车的应用实践
-
发表了文章
2023-04-17
基于 Flink CDC 的现代数据栈实践
-
发表了文章
2023-04-13
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
-
发表了文章
2023-04-13
海量数据实时分析引擎 Apache Flink
-
发表了文章
2023-04-11
Flink CDC 在京东的探索与实践
-
发表了文章
2023-04-10
FLINK 在蚂蚁大规模金融场景的平台建设
-
发表了文章
2023-04-06
快手基于 Apache Flink 的实时数仓建设实践
-
发表了文章
2023-04-06
Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题
-
发表了文章
2023-04-04
基于 Flink ML 搭建的智能运维算法服务及应用
-
发表了文章
2023-04-03
Flink SQL 在美团实时数仓中的增强与实践
-
发表了文章
2023-03-30
Apache Paimon 在同程旅行的探索实践
-
发表了文章
2023-03-29
如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题
-
发表了文章
2023-03-29
字节跳动 Flink 大规模云原生化实践
-
发表了文章
2023-03-28
Flink 流批一体方案在数禾的实践
-
发表了文章
2023-03-27
Flink Table Store 独立孵化启动 ，Apache Paimon 诞生
-
发表了文章
2023-03-24
Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架
-
发表了文章
2023-03-23
官宣｜Apache Flink 1.17 发布公告
-
发表了文章
2023-03-22
Airwallex 基于 Flink 打造实时风控系统
-
发表了文章
2023-03-21
流批一体在 AI 核心电商领域的探索与实践
-
回答了问题
2022-01-06
Flink Forward Asia 2021 有奖问答
各位开发者，正确的提问是： 进入对应专场问答入口添加回答：议题标题 + 问题 (而不是专场 + 问题哦) 还请关注 1 月 8-9 日的直播～ https://developer.aliyun.com/special/ffa2021/live赞0 踩1 评论0 -
提交了问题
2021-12-29
Flink Forward Asia 2021 有奖问答
-
提交了问题
2021-12-28
Flink Forward Asia 2021 机器学习专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 生产实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 开源解决方案专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 流批一体专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数仓专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数据湖专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 平台建设专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 行业实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 核心技术专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 主会场
-
提交了问题
2018-10-26
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
-
回答了问题
2019-07-17
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
在create table的时候别名使用不同别名即可。 create table a ()； create table b();赞0 踩0 评论0 -
提交了问题
2018-10-18
Flink在Yarn HA模式下报错
-
回答了问题
2019-07-17
大神，请教一下阿里的Blink平台业务方使用是强制要求只能写sql和udf么？
参考下Hadoop过渡到Hive，绝大部分MR都使用SQL替换了。从软件演化角度来看，高阶表达更利于业务迭代。阿里云实时计算(Blink) 实际上支持非SQL，购买独享模式，使用TableAPI或者DataStreamAPI都可以。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink on yarn大家实际生产上，是用yarn session方式还是single yarn job？这两个方式如何选择
社区了解到的，Single Job 更多些赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink在Yarn HA模式下报错
修改为yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider赞0 踩0 评论0
