勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 前端开发
- Linux
- 数据库
-
-
阿里云大模型高级工程师ACP认证
获得于2025-07-25 20:46:00 -
阿里云大数据分析师认证（ACP）
获得于2021-04-28 22:14:13
-
暂无个人介绍
-
发表了文章 2020-10-21
从 Storm 迁移到 Flink，美团外卖实时数仓建设实践
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。
-
发表了文章 2020-10-21
数据湖有新解！Apache Hudi 与 Apache Flink 集成
纵观大数据领域成熟、活跃、有生命力的框架，无一不是设计优雅，能与其他框架相互融合，彼此借力，各专所长。
-
发表了文章 2020-10-21
基于 Flink + ClickHouse 打造轻量级点击流实时数仓
Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
-
发表了文章 2020-10-21
Flink JDBC Connector：Flink 与数据库集成最佳实践
Flink 1.11 引入了 CDC，在此基础上， JDBC Connector 也发生比较大的变化，本文由 Apache Flink Contributor，阿里巴巴高级开发工程师徐榜江（雪尽）分享，主要介绍 Flink 1.11 JDBC Connector 的最佳实践。
-
发表了文章 2020-10-20
BIGDATA+AI Meetup 2020第二季·上海站开启报名！
时隔4个月，大数据江湖又有哪些风起云涌的技术突破，互联网大厂又探索出怎样的无价经验，敬请期待由阿里云计算平台事业部与阿里云开发者社区联合主办的大数据+AI meetup 2020第二站·上海。
-
发表了文章 2020-10-19
持续更新！实时计算及 Flink 大厂招聘信息汇总
大家好，为帮助大家更好的找到适合的岗位，拿到心仪公司的offer，社区收集了多家实时计算及 Flink 企业用户的招聘需求，如：知乎、VIPKID、新氧、作业帮、得物、好未来、阿里巴巴等招聘信息，整理如下，供大家参考。
-
发表了文章 2020-10-15
大数据上手实战！训练营“9营齐开”第二季限时免费报名啦
首期大数据“9营齐开”计划吸引了10000+开发者报名参与，成为今夏最火爆的大数据训练营！伴随着第一季训练营的完美落幕，大数据训练营“九营齐开”第二季已蓄势待发！
-
发表了文章 2020-10-13
实时计算案例:上海鸥新软件
Wifi 探针作为整个系统的数据源，其布点是系统成功的关键，布点之间是否重叠，数据是否精确，能否避 免数据互相污染是鸥新软件当前面临的主要挑战。
-
发表了文章 2020-10-13
实时计算案例:新华智云
面对多个数据上游、多个数据下游，数据处理过程复杂，既有清洗、结构化的工作，又有多维度统计工作的挑战，新华智云的数芯平台选择放弃开源 Spark 技术方案，而整体迁移到一站式、高性能实时大数据处理平台阿里云实时计算。
-
发表了文章 2020-10-13
实时计算案例:菜鸟物流
如何保障其仓配实时数据的丝滑顺畅, 建立带有“仓配特色”的实时数据 版图是菜鸟物流当前亟待解决的关键问题。
-
发表了文章 2020-10-13
实时计算案例:阿里巴巴双11大屏
每年的双 11 于阿里而言都是一次数据大考，天猫双 11 大屏更是万众瞩目，全球大数据泄洪般涌 入，对数据处理系统提出了极高的要求:低延迟，GMV 首屏显数控制 5s 以内;高并发，实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定，全球直播，不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战，在这种场景下阿里云实时计算迎难而上，给出了完美的答卷。
-
发表了文章 2020-09-29
码住！Flink Contributor 速成指南
不管初衷是什么，Flink 都非常欢迎大家一起建设和完善社区。在开始具体的贡献步骤之前，我们先简要介绍一下参与贡献的几种途径，以及 Clarify 关于开源贡献的一些固有印象。
-
发表了文章 2020-09-29
基于 Flink + Hive 构建流批一体准实时数仓
想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗？并不是，借助 Flink 可以实现已有的 Hive 离线数仓准实时化。本文整理自 Apache Flink Committer、阿里巴巴技术专家李劲松的分享，文章将分析当前离线数仓实时化的难点，详解 Flink 如何解决 Hive 流批一体准实时数仓的难题，实现更高效、合理的资源配置。
-
发表了文章 2020-09-29
字节跳动 Flink 单点恢复功能实践
在 Flink 现有的架构设计中，多流 Join 拓扑下单个 Task 失败会导致所有 Task 重新部署，耗时可能会持续几分钟，导致作业的输出断流，这对于线上业务来说是不可接受的。针对这一痛点，字节提出单点恢复的方案。
-
发表了文章 2020-09-25
Flink SQL CDC 上线！我们总结了 13 条生产实践经验
针对平台现在存在的问题，我们提出了把报表的数据实时化的方案。该方案主要通过 Flink SQL CDC + Elasticsearch 实现。Flink SQL 支持 CDC 模式的数据同步，将 MySQL 中的全增量数据实时地采集、预计算、并同步到 Elasticsearch 中，Elasticsearch 作为我们的实时报表和即席分析引擎。
-
发表了文章 2020-09-24
PyFlink + 区块链？揭秘行业领头企业 BTC.com 如何实现实时计算
从实时计算的趋势，到流批一体的架构，通过对 PyFlink 和 Flink 的学习，稳定在线上运行了多种作业任务，对接了实际业务需求。并且搭建了 Zeppelin 平台，使得业务开发上更加方便。在计算上尽可能地依赖 SQL，方便各方面的集成与调试。
-
发表了文章 2020-09-21
Flink RocksDB 状态后端参数调优实践
RocksDB 的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存储这一方面，我们仍然可以总结出一些相对普适的优化思路。本文先介绍一些基础知识，再列举方法。
-
发表了文章 2020-09-21
王者荣耀背后的实时大数据平台用了什么黑科技？
实时方面主要是补足我们对游戏运营的体验，比如说在游戏里玩完一局或者做完一个任务后，立马就能得到相应的奖励，或者下一步的玩法指引。对用户来说，这种及时的刺激和干预，对于他们玩游戏的体验会更好。其实不单单是游戏，其他方面也是一样的，所以我们在做这套系统的时候，就是离线+实时结合着用，但主要还是往实时方面去靠拢，未来大数据的方向也是，尽量会往实时方向去走。
-
发表了文章 2020-09-21
【行业应用】阿里云实时计算 Flink 版 IoT 行业解决方案
物联网拉近分散的资讯，统整物与物的数位信息，主要应用领域包括以下方面：运输和物流领域、健康医疗领域、智慧环境(家庭、办公、工厂)领域、个人和社会领域等，具有十分广阔的市场应用前景。物联网将智能感知、识别技术、网络通信与普适计算等技术融合起来，被认为是继计算机、互联网、智能手机之后世界信息产业发展的下一个风口。
-
发表了文章 2020-09-21
【行业应用】阿里云实时计算 Flink 版在运维领域解决方案
相比于传统的运维方式，大数据时代的运维面临着集群规模更大、业务组件更多、监控可视化与智能化等更为复杂的难题。
-
发表了文章 2020-09-21
【行业应用】阿里云实时计算 Flink 版游戏行业解决方案
游戏作为新兴崛起的娱乐产业，当下发展得如火如荼，其吸金能力和趣味性也吸引更多企业与人才投入其中。游戏行业公司主要分为发行和制作两类，游戏的类型可细分为手游、页游和端游三种，随着移动端设备的更新发展以及 5G 时代的降临，手游将迎来绝佳的发展时机。
-
发表了文章 2020-09-21
【行业应用】阿里云实时计算 Flink 版物流行业解决方案
物流行业，特别是跨境进出口是非常复杂的业务，链路长、环节多、业务场景复杂。在物流履行时效不断加快的当下，物流服务一步步向次日达甚至当日达迈进，离线日报的日更频率早已无法满足业务需求。
-
发表了文章 2020-09-21
【行业应用】阿里云实时计算 Flink 版广告行业解决方案
互联网广告领域经过长期发展，分工逐渐精细化，除了各种代理商之外，还出现了 ADN、SSP、ADX、DSP 等各种平台，市场结构极为复杂，形成了一个巨大的生态。
-
发表了文章 2020-09-21
【行业应用】阿里云实时计算 Flink 版电商行业解决方案
电商行业的整体的竞争也从之前对大量互联网新用户的抢占变为对市场已有用户的争夺，流量红利逐渐见底，平台获客成本持续增高。原有的“大范围”、“广撒网”的运营方式已经不能满足业务需求，迫切需要向数字化、精细化、个性化运营的方向进行转型。
-
发表了文章 2020-09-16
重新定义性能测试: Apache Flink 重磅开源流计算基准测试框架
每一种引擎有其优势的地方，如何选择适合自己业务的流计算引擎成了一个由来已久的话题。除了比较各个引擎提供的不同的功能矩阵之外，性能是一个无法绕开的评估因素。基准测试（benchmark）就是用来评估系统性能的一个重要和常见的过程。
-
发表了文章 2020-09-16
社区活动 | Apache Flink Meetup·深圳站，锁定 Flink 最佳实践
9月26日，来自阿里巴巴、英特尔、顺丰、腾讯的四位技术专家与你分享 Flink 最新企业应用实践，以及与时下热门的数据湖、数仓、社区生态的结合有哪些新进展。
-
发表了文章 2020-09-16
腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。
-
发表了文章 2020-09-16
如何基于 Flink 生成在线机器学习的样本？
在线机器学习与离线相比，在模型更新的时效性，模型的迭代周期，业务实验效果等方面有更好的表现。所以将机器学习从离线迁移到在线已经成为提升业务指标的一个有效的手段。在线机器学习中，样本是关键的一环。本文将给大家详细的介绍微博是如何用 Flink 来实现在线样本生成的。
-
发表了文章 2020-09-11
第一季收官之作！实时计算 Flink 极客训练营限额免费报名中
作为开源 Flink 极客训练营与实时计算 Flink 产品训练营的结合，此次训练营集两大训练营课程之大成，一如既往的全 Flink PMC & Committer 阵容，内容更加丰富，课程节奏紧密，还可选修感兴趣的内容，学习更自由。
-
发表了文章 2020-09-10
【行业应用】阿里云实时计算 Flink 版内容资讯解决方案
在日益激烈的行业竞争态势下，各个主流内容资讯提供商都在探索 AI+大数据的解决方案，来进行精细化运营，助力业务发展新模式
-
发表了文章 2020-09-10
【行业应用】阿里云实时计算 Flink 版在线教育解决方案
iiMedia Research(艾媒咨询)数据显示，2020 年中国在线教育用户规模将达 3.09 亿人，市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响，未来 K12 在线教育市场需求还将继续扩大。
-
发表了文章 2020-09-10
【行业应用】阿里云实时计算 Flink 版金融行业解决方案
基于实时计算 Flink 版的解决方案可帮助金融机构从容应对上述挑战，通过 Flink 构建实时数仓、实时反欺诈系统，助力金融机构快速构建实时风控体系。
-
发表了文章 2020-09-10
最新发布！《阿里云实时计算 Flink 版解决方案白皮书-2021版》开放下载
阿里云实时计算 Flink 版解决方案白皮书-2021版正式发布～
-
发表了文章 2020-09-08
Flink SQL 1.11 新功能与最佳实践
旨在帮助用户快速了解新版本 Table & SQL 在 Connectivity 和 Simplicity 等方面的优化及实际开发使用的最佳实践。
-
发表了文章 2020-09-03
@所有人 Flink Forward Asia 2020 向您发出议题征集邀请！
2020年，加快应用数字技术，推动企业的数字化转型、科学高效发展几乎已成为业界共识。人工智能、大数据、云计算、移动互联网...每一场技术革新都曾被寄予厚望。在此背景下，企业与个人如何不被时代浪潮裹挟，寻找核心技术的未来价值？
-
发表了文章 2020-09-03
Zeppelin SDK ：Flink 平台建设的基石
用过 Zeppelin 的人应该比较熟悉 Zeppelin 的 UI，因为 Zeppelin 的主要使用场景都是交互式，用户需要手动来操作。那除了这种手动的方式，还有其他的方式吗？如果你不想用 Zeppelin UI，但又想用 Zeppelin 提交和管理大数据作业 （比如 Flink Job）的能力该怎么办？或者是你在 Zeppelin 里写好了代码，想定时调度起来，或者集成到其他系统里，该怎么办？
-
发表了文章 2020-09-02
滴滴基于 Flink 的实时数仓建设实践
随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。
-
发表了文章 2020-09-02
Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据
Flink 1.11 最重要的 Feature —— Hive Streaming 之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能 —— CDC。
-
发表了文章 2020-08-31
开源 Flink + 实时计算 Flink 版训练营学习资料汇总
Apache Flink 是一个开源的分布式大数据处理引擎, 可对有限数据流和无限数据流进行有状态计算。实时计算 Flink版是阿里云提供的基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由Apache Flink创始团队官方出品。
-
发表了文章 2020-08-28
如何基于大数据及AI平台实现业务系统实时化？
后疫情时代的新社会模式及经济形态必将催生出新的商业模式，在线业务及相关应用场景的流量呈现井喷式发展，常规的离线系统及离线机器学习平台已无法满足业务发展要求。
-
发表了文章 2020-08-24
收藏+下载！Flink 社区最全学习渠道汇总
为了让大家更方便地上手、更便捷的学习，小松鼠将社区已有的各方面学习资源都帮你总结好啦！
-
发表了文章 2020-08-21
Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略
本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并小文件的实例说一下自定义分区提交策略的方法。
-
发表了文章 2020-08-21
FlinkX 如何读取和写入 Clickhouse？
本文将主要介绍 FlinkX 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题：1. FlinkX读写Clickhouse支持哪个版本？、2. ClickHouse读写Clickhouse有哪些参数？、3. ClickHouse读写Clickhouse参数都有哪些说明？
-
发表了文章 2020-08-21
30万奖金等你拿！Apache Flink 极客挑战赛入门指南（附Demo）
由于本次大赛既要用到大数据技术，又要用到 AI 技术，这使得只有单一技术背景的同学在搭建本地调试环境时遇到了不少问题。所以我把自己配置本地环境的流程和需要注意的地方记录下来，以供各位参赛同学参考，希望大家能将自己的精力更多集中在算法开发和迭代上。
-
发表了文章 2020-08-21
源码解析 | 万字长文详解 Flink 中的 CopyOnWriteStateTable
本文是全网首篇详细分析 CopyOnWriteStateTable 源码的博客，阅读复杂集合类源码的过程是相当有挑战的，笔者在刚开始阅读也遇到很多疑问，最后一一解决了。详细阅读完本文，无论是针对面试还是开阔视野一定会对大家有帮助的。
-
发表了文章 2020-08-21
Flink 中的应用部署：当前状态与新应用模式
作为现代企业的重要工具，流处理和实时分析这类工具逐渐兴起，越来越多的企业以 Apache Flink 为核心构建平台，并将其作为服务在内部提供。
-
发表了文章 2020-08-21
微博基于 Flink 的机器学习实践
微博作为国内比较主流的社交媒体平台，目前拥有2.22亿日活用户和5.16亿月活用户。如何为用户实时推荐优质内容，背后离不开微博的大规模机器学习平台。
-
发表了文章 2020-08-21
超英文邮件50%！Flink 中文邮件列表必须有姓名
继6月首次 Flink 中文邮件列表的邮件数超过英文邮件列表，7月再创新纪录，中文邮件列表的邮件数超英文邮件列表50%。
-
发表了文章 2020-08-21
数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验
在本篇文章中我们将对 RocksDB、Heap 和 Gemini 在相同场景下进行压测，并对其资源消耗进行对比。测试的 Flink 内核版本为 1.10.0。
-
发表了文章 2020-08-21
凭实力蝉联第一！Flink 又双叒叕上榜啦
与 2019 财年相比，Flink 邮件列表活跃度仍保持 TOP 1，Commits 数排名由第三名上升至第二名，Github 访问量也有显著增长，在 Apache 项目中排名第二。
-
发表了文章
2023-04-20
4 月 25 日直播预告 | 深入解读 Flink 1.17
-
发表了文章
2023-04-18
Flink CDC 在易车的应用实践
-
发表了文章
2023-04-17
基于 Flink CDC 的现代数据栈实践
-
发表了文章
2023-04-13
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
-
发表了文章
2023-04-13
海量数据实时分析引擎 Apache Flink
-
发表了文章
2023-04-11
Flink CDC 在京东的探索与实践
-
发表了文章
2023-04-10
FLINK 在蚂蚁大规模金融场景的平台建设
-
发表了文章
2023-04-06
快手基于 Apache Flink 的实时数仓建设实践
-
发表了文章
2023-04-06
Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题
-
发表了文章
2023-04-04
基于 Flink ML 搭建的智能运维算法服务及应用
-
发表了文章
2023-04-03
Flink SQL 在美团实时数仓中的增强与实践
-
发表了文章
2023-03-30
Apache Paimon 在同程旅行的探索实践
-
发表了文章
2023-03-29
如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题
-
发表了文章
2023-03-29
字节跳动 Flink 大规模云原生化实践
-
发表了文章
2023-03-28
Flink 流批一体方案在数禾的实践
-
发表了文章
2023-03-27
Flink Table Store 独立孵化启动 ，Apache Paimon 诞生
-
发表了文章
2023-03-24
Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架
-
发表了文章
2023-03-23
官宣｜Apache Flink 1.17 发布公告
-
发表了文章
2023-03-22
Airwallex 基于 Flink 打造实时风控系统
-
发表了文章
2023-03-21
流批一体在 AI 核心电商领域的探索与实践
-
回答了问题
2022-01-06
Flink Forward Asia 2021 有奖问答
各位开发者，正确的提问是： 进入对应专场问答入口添加回答：议题标题 + 问题 (而不是专场 + 问题哦) 还请关注 1 月 8-9 日的直播～ https://developer.aliyun.com/special/ffa2021/live赞0 踩1 评论0 -
提交了问题
2021-12-29
Flink Forward Asia 2021 有奖问答
-
提交了问题
2021-12-28
Flink Forward Asia 2021 机器学习专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 生产实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 开源解决方案专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 流批一体专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数仓专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数据湖专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 平台建设专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 行业实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 核心技术专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 主会场
-
提交了问题
2018-10-26
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
-
回答了问题
2019-07-17
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
在create table的时候别名使用不同别名即可。 create table a ()； create table b();赞0 踩0 评论0 -
提交了问题
2018-10-18
Flink在Yarn HA模式下报错
-
回答了问题
2019-07-17
大神，请教一下阿里的Blink平台业务方使用是强制要求只能写sql和udf么？
参考下Hadoop过渡到Hive，绝大部分MR都使用SQL替换了。从软件演化角度来看，高阶表达更利于业务迭代。阿里云实时计算(Blink) 实际上支持非SQL，购买独享模式，使用TableAPI或者DataStreamAPI都可以。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink on yarn大家实际生产上，是用yarn session方式还是single yarn job？这两个方式如何选择
社区了解到的，Single Job 更多些赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink在Yarn HA模式下报错
修改为yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider赞0 踩0 评论0
