勋章
我关注的人
粉丝
暂无个人介绍
-
发表了文章 2019-10-30
深入了解 Flink 网络栈（二）：监控、指标和处理背压
在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。
-
发表了文章 2019-10-30
日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契，但受制于离线计算的时效性制约，越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建，目前该系统已支持日均处理日志数量超过百亿，接入产品线、业务日志类型若干。
-
发表了文章 2019-10-23
Apache Flink 进阶（五）：数据类型和序列化
本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。
-
发表了文章 2019-10-23
一文带你了解 Flink Forward 柏林站全部重点内容
阿里巴巴这次共派出了包括笔者在内的3名讲师，总共参加了4场分享和2个问答环节。在这里，我会根据自己参与的议题给大家做一下这次会议整体的一个介绍和个人在这次参会过程里面的感受和思考，希望对感兴趣的同学有所帮助。
-
发表了文章 2019-10-17
从 Storm 到 Flink，汽车之家基于 Flink 的实时 SQL 平台设计思路与实践
汽车之家的实时 SQL 平台设计思路与实践，主要从架构及设计思路、基于 Flink SQL 平台的实时数仓的实践及使用案例、后续规划。
-
发表了文章 2019-10-16
Flink 实时写入数据到 ElasticSearch 性能调优
线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。
-
发表了文章 2019-10-14
Apache Flink 进阶（四）：Flink on Yarn/K8s 原理剖析及实践
本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。
-
发表了文章 2019-10-14
Flink Kafka Connector 与 Exactly Once 剖析
Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。
-
发表了文章 2019-10-14
重磅揭晓！Flink Forward Asia 2019 议程完整出炉
60 年前，人工智能的诞生刷新了人类对技术的期待；过去 10 年，大数据、云计算等核心技术的发展，推动了整个社会的重构与革新；5 年时间，移动互联网从诞生到逐步实现万物互联，数据在现实中的边界正在不断被拓展；技术迭变的进程不断加快，新兴技术的涌现昼夜不停。
-
发表了文章 2019-09-29
Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？
本文为 Flink SQL 系列文章的第二篇，前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明，本文详细讲解 5 个 TableEnvironment 及其适用场景，并介绍 Flink 社区对 TableEnvironment 的未来规划。
-
发表了文章 2019-09-29
如何构建批流一体数据融合平台的一致性语义保证？
本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。
-
发表了文章 2019-09-29
阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点
章剑锋（简锋），开源界老兵，Apache Member，曾就职于 Hortonworks，目前在阿里巴巴计算平台事业部任高级技术专家，并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ，以及 Apache Pig 的 Committer。
-
发表了文章 2019-09-29
Flink on YARN（下）：常见问题与排查思路
上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程，本文将根据社区大群反馈，解答客户端和 Flink Cluster 的常见问题，分享相关问题的排查思路。
-
发表了文章 2019-09-25
Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
本文基于FLIP-6重构后的资源调度模型介绍Flink on YARN应用启动全流程，解答客户端和Flink Cluster的常见问题，分享相关问题的排查思路。
-
发表了文章 2019-09-25
Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践
大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。首先讲一下 Checkpoint 与 state 的关系，然后介绍什么是 state，第三部分介绍如何在 Flink 中使用state，第四部分则介绍 Checkpoint 的执行机制。
-
发表了文章 2019-09-19
开篇 | 揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？
本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇，Flink SQL 系列文章由其核心贡献者们分享，涵盖基础知识、实践、调优、内部实现等各个方面，带你由浅入深地全面了解 Flink SQL。
-
发表了文章 2019-09-16
Apache Flink 进阶入门（二）：Time 深度解析
Flink 的 API 大体上可以划分为三个层次：处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API，这三层中的每一层都非常依赖于时间属性。
-
发表了文章 2019-09-16
Flink Checkpoint 问题排查实用指南
本文会统一聊一聊 Flink 中 Checkpoint 异常的情况（包括失败和慢），以及可能的原因和排查思路。
-
发表了文章 2019-09-11
Apache Flink 进阶（一）：Runtime 核心机制剖析
Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的，例如，它可以通过单进程多线程的方式直接运行，从而提供调试的能力。它也可以运行在 Yarn 或者 K8S 这种资源管理系统上面，也可以在各种云环境中执行。
-
发表了文章 2019-09-11
Apache Flink 在同程艺龙实时计算平台的研发与应用实践
本文主要介绍 Apache Flink 在同程艺龙的应用实践，从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验，供大家参考。
-
发表了文章 2019-09-11
回顾 | Apache Flink Meetup ·上海站（附PPT下载链接）
9 月 7 日，Apache Flink Meetup 上海站，上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容，并有 Demo 演示环节。
-
发表了文章 2019-09-10
Apache Flink 在同程艺龙实时计算平台的研发与应用实践
本文主要介绍 Apache Flink 在同程艺龙的应用实践，从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验，供大家参考。
-
发表了文章 2019-09-09
如果你也想做实时数仓…
数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务，数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
-
发表了文章 2019-09-09
Apache Flink Meetup · 北京站，可能有你最想听的内容！
9 月 21日，Flink 社区邀请了来自小米、贝壳找房、intel 以及 Apache Flink PMC 相聚北京，解读 Flink 在大型企业应用实践、实时数仓建设、性能优化以及 Flink 1.9 重大新增功能特性。
-
发表了文章 2019-09-09
如果你也想做实时数仓…
数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务，数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
-
发表了文章 2019-09-09
Apache Flink 进阶（一）：Runtime 核心机制剖析
本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程，然后介绍在这个过程，Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。
-
发表了文章 2019-09-09
如何在 Apache Flink 中使用 Python API？
为大家介绍 Flink Python API 的现状及未来规划，主要内容包括：Apache Flink Python API 的前世今生和未来发展；Apache Flink Python API 架构及开发环境搭建；Apache Flink Python API 核心算子介绍及应用。
-
发表了文章 2019-09-09
Apache Flink Meetup 北京站，可能有你最想听的技术干货！
9 月 21日，Flink 社区邀请了来自小米、贝壳找房、intel 以及 Apache Flink PMC 相聚北京，解读 Flink 在大型企业应用实践、实时数仓建设、性能优化以及 Flink 1.9 重大新增功能特性。
-
发表了文章 2019-09-03
Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
《Flink SQL 1.9.0 技术内幕和最佳实践》，许多小伙伴对演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。
-
发表了文章 2019-09-03
回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
8 月最后一天，由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕，现场站无虚席，来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享，全场干货满满！
-
发表了文章 2019-09-02
如何正确使用 Flink Connector？
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。
-
发表了文章 2019-09-02
Apache Flink 零基础入门（七）：Table API 编程
本文主要包含三部分：第一部分，主要介绍什么是 Table API，从概念角度进行分析，让大家有一个感性的认识；第二部分，从代码的层面介绍怎么使用 Table API；第三部分，介绍 Table API 近期的动态。
-
发表了文章 2019-08-28
如何在 Flink 1.9 中使用 Hive？
Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。
-
发表了文章 2019-08-26
修改代码150万行！与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更？
早在今年1月，阿里便宣布将内部过去几年打磨的大数据处理引擎 Blink 进行开源并向 Apache Flink 贡献代码。Flink 1.9.0 版本在结构上有重大变更，修改代码达 150 万行，本文将梳理 Flink 1.9.0 中非常值得关注的重大变更与新增功能特性。
-
发表了文章 2019-08-26
Apache Flink 1.9重磅发布！首次合并阿里内部版本Blink重要功能
8月22日，Apache Flink 1.9.0 版本正式发布，本文对此次发版中重要功能特性进行说明，包括批处理作业的批式恢复，以及 Table API 和 SQL 的基于 Blink 的新查询引擎（预览版）State Processor API等等众多社区迫切关注的新特性。
-
发表了文章 2019-08-22
接着！！Apache Flink 全领域干货合集（持续更新）
Apache Flink 下一代开源大数据计算引擎， 可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境，对各种大小的数据规模进行快速计算。Flink 1.9.0 发布，在批流融合与功能特性上有重大更新，本专题将持续更新新增特性的具体说明及全领域干货。
-
发表了文章 2019-08-20
Apache Flink 零基础入门（八）： SQL 编程实践
本文是 Apache Flink 零基础入门系列文章第八篇，将通过五个实例讲解 Flink SQL 的编程实践。
-
发表了文章 2019-08-20
超强攻略！看完拿 Apache Flink 极客挑战赛全场最佳「MVP」
垃圾图片分类与 Flink TPC-DS 性能优化两大赛题重要知识点及相关工具解析。
-
发表了文章 2019-08-16
监控系统哪家强？eBay 在监控系统上的实践应用！
本文将分享监控系统 Flink 的现状，具体讲述 Flink 在监控系统上的实践和应用，希望给同业人员一些借鉴和启发。
-
发表了文章 2019-08-09
史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
Flink Forward 大数据、人工智能领域的顶级大会，旨在汇集一流人才共同探讨大数据、云计算、人工智能、机器学习等领先技术，2019 Flink Forward Asia 重磅开启，征集议题中！
-
发表了文章 2019-08-08
首届！Apache Flink 极客挑战赛强势来袭，重磅奖项等你拿，快来组队报名啦
7 月 24 日，阿里云峰会上海开发者大会开源大数据专场，阿里巴巴集团副总裁、计算平台事业部总裁贾扬清与英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权共同发布首届 Apache Flink 极客挑战赛。欢迎报名参赛！
-
发表了文章 2019-08-05
小红书如何实现高效推荐？解密背后的大数据计算平台架构
小红书作为生活分享类社区，目前有8500万用户，年同比增长为300%，大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一，本文主要分享在推荐业务场景中小红书的实时计算应用。
-
发表了文章 2019-08-05
58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密
本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。
-
发表了文章 2019-08-05
Apache Flink 零基础入门教程（六）：状态管理及容错机制
本文主要分享内容如下：状态管理的基本概念；状态的类型与使用示例；容错机制与故障恢复；
-
发表了文章 2019-08-05
Apache Flink 零基础入门（五）：流处理核心组件 Time&Window 深度解析
为什么要有 Window； Window 中的三个核心组件：WindowAssigner、Trigger 和 Evictor；Window 中怎么处理乱序数据，乱序数据是否允许延迟，以及怎么处理迟到的数据；最后我们梳理了整个 Window 的数据流程，以及 Window 中怎么保证 Exactly
-
发表了文章 2019-08-05
Apache Flink 零基础入门（四）：客户端操作的 5 种模式
本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式，有利于提高我们日常的开发和运维效率。
-
发表了文章 2019-08-05
Apache Flink 零基础入门（三）：DataStream API 编程
本次课程将首先介绍 Flink 开发中比较核心的 DataStream API 。我们首先将回顾分布式流处理的一些基本概念，这些概念对于理解实际的 DataStream API 有非常大的作用。然后，我们将详细介绍 DataStream API 的设计，最后我们将通过一个例子来演示 DataStre
-
发表了文章 2019-08-05
Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行
本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。
-
发表了文章 2019-08-05
Apache Flink 零基础入门（一）：基础概念解析
本文是根据 Apache Flink 基础篇系列直播整理而成，由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周更新一期，持续推送。
-
发表了文章 2019-08-05
用Flink取代Spark Streaming！知乎实时数仓架构演进
- 实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。 - 实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink Streaming。 - 实时数仓未来展望：Streaming SQL 平台化，元信息管理系统化，结果验收自动化。
-
发表了文章
2023-04-20
4 月 25 日直播预告 | 深入解读 Flink 1.17
-
发表了文章
2023-04-18
Flink CDC 在易车的应用实践
-
发表了文章
2023-04-17
基于 Flink CDC 的现代数据栈实践
-
发表了文章
2023-04-13
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
-
发表了文章
2023-04-13
海量数据实时分析引擎 Apache Flink
-
发表了文章
2023-04-11
Flink CDC 在京东的探索与实践
-
发表了文章
2023-04-10
FLINK 在蚂蚁大规模金融场景的平台建设
-
发表了文章
2023-04-06
快手基于 Apache Flink 的实时数仓建设实践
-
发表了文章
2023-04-06
Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题
-
发表了文章
2023-04-04
基于 Flink ML 搭建的智能运维算法服务及应用
-
发表了文章
2023-04-03
Flink SQL 在美团实时数仓中的增强与实践
-
发表了文章
2023-03-30
Apache Paimon 在同程旅行的探索实践
-
发表了文章
2023-03-29
如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题
-
发表了文章
2023-03-29
字节跳动 Flink 大规模云原生化实践
-
发表了文章
2023-03-28
Flink 流批一体方案在数禾的实践
-
发表了文章
2023-03-27
Flink Table Store 独立孵化启动 ，Apache Paimon 诞生
-
发表了文章
2023-03-24
Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架
-
发表了文章
2023-03-23
官宣｜Apache Flink 1.17 发布公告
-
发表了文章
2023-03-22
Airwallex 基于 Flink 打造实时风控系统
-
发表了文章
2023-03-21
流批一体在 AI 核心电商领域的探索与实践
-
回答了问题
2022-01-06
Flink Forward Asia 2021 有奖问答
各位开发者，正确的提问是： 进入对应专场问答入口添加回答：议题标题 + 问题 (而不是专场 + 问题哦) 还请关注 1 月 8-9 日的直播～ https://developer.aliyun.com/special/ffa2021/live赞0 踩1 评论0 -
提交了问题
2021-12-29
Flink Forward Asia 2021 有奖问答
-
提交了问题
2021-12-28
Flink Forward Asia 2021 机器学习专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 生产实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 开源解决方案专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 流批一体专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数仓专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数据湖专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 平台建设专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 行业实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 核心技术专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 主会场
-
提交了问题
2018-10-26
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
-
回答了问题
2019-07-17
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
在create table的时候别名使用不同别名即可。 create table a ()； create table b();赞0 踩0 评论0 -
提交了问题
2018-10-18
Flink在Yarn HA模式下报错
-
回答了问题
2019-07-17
大神，请教一下阿里的Blink平台业务方使用是强制要求只能写sql和udf么？
参考下Hadoop过渡到Hive，绝大部分MR都使用SQL替换了。从软件演化角度来看，高阶表达更利于业务迭代。阿里云实时计算(Blink) 实际上支持非SQL，购买独享模式，使用TableAPI或者DataStreamAPI都可以。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink on yarn大家实际生产上，是用yarn session方式还是single yarn job？这两个方式如何选择
社区了解到的，Single Job 更多些赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink在Yarn HA模式下报错
修改为yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider赞0 踩0 评论0
