Flink实时计算大促压测实践

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
性能测试 PTS,5000VUM额度
简介: Flink实时计算大促压测实践

一、背景:

临近双11大促,为避免流量峰值较高,电商公司都会对系统进行压测。一直做实时数据计算,应用是基于Flink做的,接收kafka消息,进行数据统计,包括:pv、uv、dau、单量、成交额等等。

为了保证应用在大促期间不出问题,需要进行实时计算程序进行压测。由于统计的数据分为两类(流量数据、订单数据),对这两类数据进行不同方式的压测。

 

二、压测准备

(1)压测时间选择:一般选择在凌晨,对业务影响最小

(2)集群准备:搭建主备集群,将kafka集群、Flink集群、redis集群,分别搭建两套,在资源有充裕的情况下。(主备集群既能够做到容灾、高可用,也能在压测过程,轻松实现压测)

(3)如果资源有限,不能搭建主备集群,也能进行压测,但是在灾备和高可用方面就没办法保证了

 

三、压测实践

情况一:有主备集群的情况下(压测比较简单)

(1)通知下游,将查询的数据切换另外一套集群上(不进行压测的集群)

(2)将kafka消息位点进行调整,将消息挤压量调整至去年大促的峰值的几倍左右

(3)重启Flink应用

(4)查看监控:kafka监控、Flink监控

                                                                              kafka消息挤压监控

                                                                               Flink数据处理监控

情况二:没有主备集群的情况下(由于没有主备集群,压测可能会对下游统计数据存在影响,需要通知下游)

1.流量数据压测(由于数据量较大不好做幂等处理,对下游影响较大)

(1)通知下游,将压测安排在凌晨进行

(2)停止Flink应用,造成消息挤压,达到挤压数量

(3)启动Flink应用,开始消费,查看各项监控指标

注:没有采用回置kafka消息位点,而是进行憋数,只造成短时间下游数据指标短时间不可用,整体影响不大

2.订单数据压测

  • 没有幂等处理,同样可以采用流量的方法进行压测
  • 有幂等处理

(1)通知下游,进行压测

(2)回置kafka消息位点

(3)重启Flink应用,开始消费,查看各项监控指标

注:由于幂等处理,回置位点,不会对下游统计数据造成影响

 

四、压测总结

压测过程中可能会出现的问题:

(1)Flink会出现背压

(2)可能出现redis热key,如果单一维度指标key修改比较频繁

(3)....

对于上述出现的问题,进行解决即可。

 

由于在大促活动中的流量出现高峰,压测是为大促保障之前做的非常重要的一个环节,上述讲述了如果在大促之前对Flink实时计算程序进行压测,让我们开发的程序能够平稳地渡过大促。

 


相关文章
|
3月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
45 1
|
2月前
|
SQL 存储 API
Flink实践:通过Flink SQL进行SFTP文件的读写操作
虽然 Apache Flink 与 SFTP 之间的直接交互存在一定的限制,但通过一些创造性的方法和技术,我们仍然可以有效地实现对 SFTP 文件的读写操作。这既展现了 Flink 在处理复杂数据场景中的强大能力,也体现了软件工程中常见的问题解决思路——即通过现有工具和一定的间接方法来克服技术障碍。通过这种方式,Flink SQL 成为了处理各种数据源,包括 SFTP 文件,在内的强大工具。
163 15
|
3月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
51 3
|
3月前
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
46 2
|
3月前
|
SQL 存储 Unix
Flink SQL 在快手实践问题之设置 Window Offset 以调整窗口划分如何解决
Flink SQL 在快手实践问题之设置 Window Offset 以调整窗口划分如何解决
56 2
|
22天前
|
消息中间件 监控 数据可视化
实时计算Flink场景实践和核心功能体验
本文详细评测了阿里云实时计算Flink版,从产品引导、文档帮助、功能满足度等方面进行了全面分析。产品界面设计友好,文档丰富实用,数据开发和运维体验优秀,具备出色的实时性和动态扩展性。同时,提出了针对业务场景的改进建议,包括功能定制化增强、高级分析功能拓展及可视化功能提升。文章还探讨了产品与阿里云内部产品及第三方工具的联动潜力,展示了其在多云架构和跨平台应用中的广阔前景。
54 9
|
23天前
|
运维 监控 安全
实时计算Flink场景实践和核心功能体验
实时计算Flink场景实践和核心功能体验
|
24天前
|
运维 数据可视化 数据处理
实时计算Flink场景实践和核心功能体验 评测
实时计算Flink场景实践和核心功能体验 评测
51 4
|
13天前
|
数据采集 运维 搜索推荐
实时计算Flink场景实践
在数字化时代,实时数据处理愈发重要。本文分享了作者使用阿里云实时计算Flink版和流式数据湖仓Paimon的体验,展示了其在电商场景中的应用,包括数据抽取、清洗、关联和聚合,突出了系统的高效、稳定和低延迟特点。
43 0
|
2月前
|
消息中间件 canal 数据采集
Flink CDC 在货拉拉的落地与实践
陈政羽在Apache Asia Community Over Code 2024上分享了《货拉拉在Flink CDC生产实践落地》。文章介绍了货拉拉业务背景、技术选型及其在实时数据采集中的挑战与解决方案,详细阐述了Flink CDC的技术优势及在稳定性、兼容性等方面的应用成果。通过实际案例展示了Flink CDC在提升数据采集效率、降低延迟等方面的显著成效,并展望了未来发展方向。
537 14
Flink CDC 在货拉拉的落地与实践