勋章
我关注的人
粉丝
暂无个人介绍
-
发表了文章 2020-02-26
菜鸟供应链实时数仓的架构演进及应用场景
菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进，以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。
-
发表了文章 2020-02-26
菜鸟供应链实时数仓的架构演进及应用场景
菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进，以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。
-
发表了文章 2020-02-26
覆盖电商、推荐、ETL、风控等多场景，网易的实时计算平台做了啥？
目前网易流计算规模已经达到了一千多个任务，2 万多个 vcores 以及 80 多 T 的内存，网易流计算覆盖了绝大多数场景，包括广告、电商大屏、ETL、数据分析、推荐、风控、搜索、直播等。
-
发表了文章 2020-02-26
覆盖电商、推荐、ETL、风控等多场景，网易的实时计算平台做了啥？
目前网易流计算规模已经达到了一千多个任务，2 万多个 vcores 以及 80 多 T 的内存，网易流计算覆盖了绝大多数场景，包括广告、电商大屏、ETL、数据分析、推荐、风控、搜索、直播等。
-
发表了文章 2020-02-25
Demo：基于 Flink SQL 构建流式应用
本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。
-
发表了文章 2020-02-25
Demo：基于 Flink SQL 构建流式应用
本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。
-
发表了文章 2020-02-24
首发｜《Apache Flink 年度最佳实践》，揭秘一线大厂实时平台构建实践
甄选 Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 大会嘉宾精彩分享，覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践，为你揭秘实时计算平台从无到有到有、持续优化的详细细节！
-
发表了文章 2020-02-24
102万行代码，1270 个问题，Flink 新版发布了什么？（附最佳实践电子书）
2 月 12 日，Apache Flink 1.10.0 正式发布，在 Flink 的第一个双位数版本中正式完成了 Blink 向 Flink 的合并。在此基础之上，Flink 1.10 版本在生产可用性、功能、性能上都有大幅提升。本文将详细为大家介绍该版本的重大变更与新增特性。 文末更有 Flink 实践精选电子书，现已开放免费下载~
-
发表了文章 2020-02-24
102万行代码，1270 个问题，Flink 新版发布了什么？（附最佳实践电子书）
2 月 12 日，Apache Flink 1.10.0 正式发布，在 Flink 的第一个双位数版本中正式完成了 Blink 向 Flink 的合并。在此基础之上，Flink 1.10 版本在生产可用性、功能、性能上都有大幅提升。本文将详细为大家介绍该版本的重大变更与新增特性。
-
发表了文章 2020-02-20
为什么说 Flink + AI 值得期待？
近年来 AI 持续火热，各种计算框架、模型和算法层出不穷，从某种角度上来说，这个赛道已经有些拥挤了。在这种情况下， Flink 将怎样拥抱 AI，又会为用户带来什么新的价值？Flink AI 的优劣势分别在哪里？本文将通过对这些问题的讨论来分析 Flink AI 的发展方向。
-
发表了文章 2020-02-20
为什么说 Flink + AI 值得期待？
近年来 AI 持续火热，各种计算框架、模型和算法层出不穷，从某种角度上来说，这个赛道已经有些拥挤了。在这种情况下， Flink 将怎样拥抱 AI，又会为用户带来什么新的价值？Flink AI 的优劣势分别在哪里？本文将通过对这些问题的讨论来分析 Flink AI 的发展方向。
-
发表了文章 2020-02-20
Flink 1.10 Native Kubernetes 原理与实践
Flink 在 1.10 版本完成了 Active Kubernetes Integration 的第一阶段，支持了 session clusters。后续的第二阶段会提供更完整的支持，如支持 per-job 任务提交，以及基于原生 Kubernetes API 的高可用，支持更多的 Kubernetes 参数如 toleration, label 和 node selector 等。
-
发表了文章 2020-02-20
Flink 1.10 Native Kubernetes 原理与实践
Flink 在 1.10 版本完成了 Active Kubernetes Integration 的第一阶段，支持了 session clusters。后续的第二阶段会提供更完整的支持，如支持 per-job 任务提交，以及基于原生 Kubernetes API 的高可用，支持更多的 Kubernetes 参数如 toleration, label 和 node selector 等。
-
发表了文章 2020-02-20
Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）
Flink 作为一个统一的计算引擎，旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码，并在 1.10 中完善了大量的功能以及性能，可以运行所有 TPC-DS 的查询，性能方面也很有竞争力，Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。
-
发表了文章 2020-02-20
Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）
Flink 作为一个统一的计算引擎，旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码，并在 1.10 中完善了大量的功能以及性能，可以运行所有 TPC-DS 的查询，性能方面也很有竞争力，Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。
-
发表了文章 2020-02-20
从 Spark Streaming 到 Apache Flink：bilibili 实时平台的架构与实践
本文由 bilibili 大数据实时平台负责人郑志升分享，基于对 bilibili 实时计算的痛点分析，详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面：实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。
-
发表了文章 2020-02-19
首发｜《Apache Flink 年度最佳实践》，揭秘一线大厂实时平台构建实践
甄选 Apache Flink 及大数据领域顶级盛会 Flink Forward Asia 大会嘉宾精彩分享，覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践，为你揭秘实时计算平台从无到有到有、持续优化的详细细节！
-
发表了文章 2020-02-18
bilibili 实时平台的架构与实践
本文由 bilibili 大数据实时平台负责人郑志升分享，基于对 bilibili 实时计算的痛点分析，详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面：实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。
-
发表了文章 2020-02-13
速度收藏！看完这份知识图谱，才算搞懂 Flink！
社区整理了这样一份知识图谱，由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。看完这份图谱，才算真的搞懂 Flink！
-
发表了文章 2020-02-13
速度收藏！看完这份知识图谱，才算搞懂 Flink！
社区整理了这样一份知识图谱，由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。看完这份图谱，才算真的搞懂 Flink！
-
发表了文章 2020-02-13
Apache Flink 1.10.0 重磅发布，年度最大规模版本升级！
Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化。
-
发表了文章 2020-02-13
Apache Flink 1.10.0 重磅发布，年度最大规模版本升级！
Flink 1.10 同时还标志着对 Blink[1] 的整合宣告完成，随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。
-
发表了文章 2020-02-12
从开发到生产上线，如何确定集群规划大小?
在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。
-
发表了文章 2020-02-12
从开发到生产上线，如何确定集群规划大小?
在 Flink 社区中，最常被问到的问题之一是：在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。
-
发表了文章 2020-02-12
百万TPS高吞吐、秒级低延迟，阿里搜索离线平台如何实现？
阿里主搜（淘宝天猫搜索）是搜索离线平台非常重要的一个业务，具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战，搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢？
-
发表了文章 2020-02-12
百万TPS高吞吐、秒级低延迟，阿里搜索离线平台如何实现？
阿里主搜（淘宝天猫搜索）是搜索离线平台非常重要的一个业务，具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战，搜索离线平台经过哪些优化最终实现全量高吞吐、增量低延迟的呢？
-
发表了文章 2020-02-12
假期充电 | 2019 Flink 社区年度文章合集（电子书免费送）
为了让宝贵的经验传播，方便大家快速上手 Flink，小编将 Apache Flink 基础入门学习资料整理成电子版专刊供大家下载使用。
-
发表了文章 2020-01-20
来！PyFlink 作业的多种部署模式
关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发，比如，如何使用各种算子(Join/Window/AGG etc.)，如何使用各种 Connector(Kafka, CSV, Socket etc.)，还有一些实际的案例。这些都停留在开发阶段，一旦开发完成，我们就面临激动人心的时刻，那就是将我们精心设计开发的作业进行部署，那么问题来了，你知道怎样部署 PyFlink 的作业吗？
-
发表了文章 2020-01-20
来！PyFlink 作业的多种部署模式
关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发，比如，如何使用各种算子(Join/Window/AGG etc.)，如何使用各种 Connector(Kafka, CSV, Socket etc.)，还有一些实际的案例。
-
发表了文章 2020-01-20
最新消息！Cloudera 全球发行版正式集成 Apache Flink
近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品，Apache Flink PMC Chair Stephan 也回应：“此举意义重大。”这意味着所有 CDH 发行版覆盖的全球企业用户都将能够使用 Flink 进行流数据处理。
-
发表了文章 2020-01-20
最新消息！Cloudera 全球发行版正式集成 Apache Flink
近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品，Apache Flink PMC Chair Stephan 也回应：“此举意义重大。
-
发表了文章 2020-01-17
实至名归！Flink 再度成为 Apache 基金会最活跃的开源项目
2019 年对 Apache 软件基金会（简称 ASF)来说，依然是伟大的一年：它标志着开源领导“Apache 之道”（The Apache Way）的 20 年。ASF 的口号，“社区重于代码”（Community Over Code），贯穿于其所做的每一件事，全球有数十亿人受益于价值 200 多亿美元的社区主导的软件，100% 免费提供。
-
发表了文章 2020-01-17
实至名归！Flink 再度成为 Apache 基金会最活跃的开源项目
2019 年对 Apache 软件基金会（简称 ASF)来说，依然是伟大的一年：它标志着开源领导“Apache 之道”（The Apache Way）的 20 年。ASF 的口号，“社区重于代码”（Community Over Code），贯穿于其所做的每一件事，全球有数十亿人受益于价值 200 多亿美元的社区主导的软件，100% 免费提供。
-
发表了文章 2020-01-16
Flink Weekly | 每周社区动态更新 - 20200114
本文为 Flink Weekly 的第四期，由 Forward Xu 整理，主要内容包括：Flink 1.10 版本的发布测试，SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。
-
发表了文章 2020-01-16
Flink Weekly | 每周社区动态更新 - 20200114
本文为 Flink Weekly 的第四期，由 Forward Xu 整理，主要内容包括：Flink 1.10 版本的发布测试，SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。
-
发表了文章 2020-01-16
小米流式平台架构演进与实践
小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。
-
发表了文章 2020-01-16
基于 Flink 构建 CEP 引擎的挑战和实践
奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面： 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展与思考
-
发表了文章 2020-01-16
实时计算在贝壳的实践
本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。
-
发表了文章 2020-01-13
实时计算在贝壳的实践
本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。
-
发表了文章 2020-01-10
阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？
众所周知 Flink 是当前广泛使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。
-
发表了文章 2020-01-10
阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？
众所周知 Flink 是当前广泛使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。
-
发表了文章 2020-01-10
基于 Flink 构建 CEP 引擎的挑战和实践
奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面： 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展与思考
-
发表了文章 2020-01-10
Flink Weekly | 每周社区动态更新 - 20200107
本文为 Flink Weekly 的第三期，由 Tang Yun 整理，主要内容包括：Flink 1.10.0 的发布进展，将 blink planner 设置为 SQL client 默认 planner 的讨论，以及如何支持 SQL client gateway 的 FLIP。
-
发表了文章 2020-01-10
Flink Weekly | 每周社区动态更新
本文为 Flink Weekly 的第三期，由 Tang Yun 整理，主要内容包括：Flink 1.10.0 的发布进展，将 blink planner 设置为 SQL client 默认 planner 的讨论，以及如何支持 SQL client gateway 的 FLIP。
-
发表了文章 2020-01-10
小米流式平台架构演进与实践
小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。
-
发表了文章 2020-01-03
Flink Weekly | 每周社区动态更新 - 2019/12/31
主要内容包括：讨论在 Flink SQL 中支持 JSON functions，新增 Flink 国内社区的活动和相关博客，以及汇总中文邮件中大家遇到的问题。
-
发表了文章 2020-01-03
Flink Weekly | 每周社区动态更新 - 2019/12/31
主要内容包括：讨论在 Flink SQL 中支持 JSON functions，新增 Flink 国内社区的活动和相关博客，以及汇总中文邮件中大家遇到的问题。
-
发表了文章 2020-01-02
美团点评基于 Flink 的实时数仓平台实践
数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
-
发表了文章 2020-01-02
美团点评基于 Flink 的实时数仓平台实践
数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
-
发表了文章 2020-01-02
监控指标10K+！携程实时智能检测平台实践
本文将介绍携程实时智能异常检测平台——Prophet。到目前为止，Prophet 基本覆盖了携程所有业务线，监控指标的数量达到 10K+，覆盖了携程所有订单、支付等重要的业务指标。Prophet 将时间序列的数据作为数据输入，以监控平台作为接入对象，以智能告警实现异常的告警功能，并基于 Flink 实时计算引擎来实现异常的实时预警，提供一站式异常检测解决方案。
-
发表了文章
2023-04-20
4 月 25 日直播预告 | 深入解读 Flink 1.17
-
发表了文章
2023-04-18
Flink CDC 在易车的应用实践
-
发表了文章
2023-04-17
基于 Flink CDC 的现代数据栈实践
-
发表了文章
2023-04-13
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
-
发表了文章
2023-04-13
海量数据实时分析引擎 Apache Flink
-
发表了文章
2023-04-11
Flink CDC 在京东的探索与实践
-
发表了文章
2023-04-10
FLINK 在蚂蚁大规模金融场景的平台建设
-
发表了文章
2023-04-06
快手基于 Apache Flink 的实时数仓建设实践
-
发表了文章
2023-04-06
Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题
-
发表了文章
2023-04-04
基于 Flink ML 搭建的智能运维算法服务及应用
-
发表了文章
2023-04-03
Flink SQL 在美团实时数仓中的增强与实践
-
发表了文章
2023-03-30
Apache Paimon 在同程旅行的探索实践
-
发表了文章
2023-03-29
如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题
-
发表了文章
2023-03-29
字节跳动 Flink 大规模云原生化实践
-
发表了文章
2023-03-28
Flink 流批一体方案在数禾的实践
-
发表了文章
2023-03-27
Flink Table Store 独立孵化启动 ，Apache Paimon 诞生
-
发表了文章
2023-03-24
Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架
-
发表了文章
2023-03-23
官宣｜Apache Flink 1.17 发布公告
-
发表了文章
2023-03-22
Airwallex 基于 Flink 打造实时风控系统
-
发表了文章
2023-03-21
流批一体在 AI 核心电商领域的探索与实践
-
回答了问题
2022-01-06
Flink Forward Asia 2021 有奖问答
各位开发者，正确的提问是： 进入对应专场问答入口添加回答：议题标题 + 问题 (而不是专场 + 问题哦) 还请关注 1 月 8-9 日的直播～ https://developer.aliyun.com/special/ffa2021/live赞0 踩1 评论0 -
提交了问题
2021-12-29
Flink Forward Asia 2021 有奖问答
-
提交了问题
2021-12-28
Flink Forward Asia 2021 机器学习专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 生产实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 开源解决方案专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 流批一体专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数仓专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 实时数据湖专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 平台建设专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 行业实践专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 核心技术专场
-
提交了问题
2021-12-28
Flink Forward Asia 2021 主会场
-
提交了问题
2018-10-26
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
-
回答了问题
2019-07-17
实时计算Flink sink端写出到同名的DataHub和RDS，如何处理？
在create table的时候别名使用不同别名即可。 create table a ()； create table b();赞0 踩0 评论0 -
提交了问题
2018-10-18
Flink在Yarn HA模式下报错
-
回答了问题
2019-07-17
大神，请教一下阿里的Blink平台业务方使用是强制要求只能写sql和udf么？
参考下Hadoop过渡到Hive，绝大部分MR都使用SQL替换了。从软件演化角度来看，高阶表达更利于业务迭代。阿里云实时计算(Blink) 实际上支持非SQL，购买独享模式，使用TableAPI或者DataStreamAPI都可以。赞0 踩0 评论0 -
回答了问题
2019-07-17
flink on yarn大家实际生产上，是用yarn session方式还是single yarn job？这两个方式如何选择
社区了解到的，Single Job 更多些赞0 踩0 评论0 -
回答了问题
2019-07-17
Flink在Yarn HA模式下报错
修改为yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider赞0 踩0 评论0
