嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
简介: 云消息队列 Kafka 版 Serverless 系列凭借其秒级弹性扩展、按需付费、轻运维的优势,助力嘉银科技业务系统实现灵活扩缩容,在业务效率和成本优化上持续取得突破,保证服务的敏捷性和稳定性,并节省超过 20% 的成本。

作者:四牛


前言


云消息队列 Kafka Serverless 系列凭借其秒级弹性扩展、按需付费、轻运维的优势,助力嘉银科技业务系统实现灵活扩缩容,在业务效率和成本优化上持续取得突破,保证服务的敏捷性和稳定性,并节省超过 20% 的成本。


客户介绍

1758088241660_2B1D63BA-66F4-4eda-BC13-820A12D9C1FE.png

嘉银科技是一家专注于科技驱动普惠金融的上市企业,在多年的发展过程中,始终坚持以技术为核心推动业务迭代,公司致力于以大数据、云计算、人工智能等技术在消费场景内连接消费者与金融机构,让每位用户都能享受到高效便捷的科技服务,同时助力金融机构业务高速增长。


应用上云


随着业务规模的不断扩大,嘉银科技对底层技术平台的可扩展性、稳定性和运维便捷性提出了更高要求,2024 年初启动了整体应用迁移上云的进程,嘉银科技技术团队经过多方技术论证及产品选型,最终选择阿里云作为云服务提供商。阿里云和嘉银科技的技术团队共同组建上云项目组,制定上云技术方案和实施步骤。


自建 Kafka迁移上云


伴随着应用从 IDC 迁移上云,应用所依赖的中间件服务也逐步迁移到云上更加稳定成熟的 PaaS 产品,其中 Kafka 就是在此次迁云过程中完成了技术升级,由开源自建 Kafka 集群迁移到阿里云消息队列 Kafka V3 集群,大大提升了应用系统的稳定可靠及弹性能力。

1758088338854_2A268398-C89C-4caa-8676-5C85F728ACB3.png

下图展示了嘉银科技的 Kafka 架构迁移至云端前后的对比。左侧为迁移前的开源自建 Kafka 架构,右侧为迁移至阿里云消息队列 Kafka v3 后的架构。

1758088356326_F5B7721F-8B8A-4941-B9A4-CC507F856CB5.png


云上 Kafka 技术优势


阿里云消息团队在技术上持续投入,迭代升级云消息队列 Kafka 版产品的核心技术架构,其 Serverless 系列实现了真正意义上的存算分离,存储层基于云重新设计,这也是绝大部分商业化消息产品的重点投入方向,难点在于实现彻底分离,解决成本和性能的矛盾,同时保证计算弹性的轻量和扩容的可靠。

1758088376563_A584A26B-4C3A-4828-BEFC-99B5EAE0546A.png

阿里云消息队列 Kafka 版 Serverless 系列以其卓越的弹性能力,为嘉银科技提供了高效的资源管理和业务连续性保障。


  • 自适应弹性云消息队列 Kafka 版 Serverless 系列在 20 MB/秒 ~ 1 GB/秒支持无感弹性;1 GB/秒 ~ 3 GB/秒支持秒级弹性;3 GB/秒以上支持分钟级弹性。客户可以依据业务流量的趋势,通过弹性能力实现成本与性能的平衡,从容且高效地应对突发流量高峰。
  • 秒级定时弹性对于超大规模集群,云消息队列 Kafka Serverless 系列支持脉冲的定时弹性,允许预设弹性策略,在流量高峰期预留足够资源确保关键业务的持续性和稳定性,在低峰期则减少资源使用以节约成本,不仅提升了资源利用率,还降低了运维复杂度。
  • 高可用、高可靠开源 Kafka 通过 ISR 机制实现服务高可用和数据高可靠,但计算和存储混杂,副本机制复杂度高,问题排查难度大。阿里云消息队列 Kafka V3 基于存算分离架构,实现各计算节点无状态且共享存储,不仅降低了复杂度,还提高了可运维性。计算节点高可用基于自研轻量 Leader 切换机制实现,在稳定提供读写服务的同时又能优雅轻便地 Leader 转移,是云消息队列 Kafka 版高效弹缩的核心底座。云消息队列 Kafka 版在存储层面基于阿里云飞天盘古 DFS,支持跨数据中心容灾,提供百微秒级平均延迟、毫秒级长尾延迟,数据可靠性 12 9,可用性 5 9。因此,迁移后的架构可靠性和可用性都得到了显著的提升。
  • 高性能采用 OpenMessaging Benchmark Framework 对云消息队列 Kafka 版 V3 和 Apache Kafka 3.3 进行攒批发送与碎片化发送场景下的吞吐延迟对比测试,测试结果显示,在攒批发送与碎片化发送场景下,云消息队列 Kafka 版 V3 在 TP999 的延迟表现整体均优于 Apache Kafka,并且随着吞吐的增加,这种性能优势更加明显,碎片化发送场景快 10 倍。
  • 成本优化云消息队列 Kafka 团队有长时间研发和运维经历,积累了大量的实战经验。结合嘉银科技的业务模型,提供 Kafka 最佳实践,客户端和服务端都有 20% 的成本优化,避免不必要的开支。同时,制定容灾方案防止数据丢失或服务中断。


业务价值


高稳定架构,为业务保驾护航云消息队列 Kafka 版凭借高吞吐与分布式架构,满足了嘉银科技的实时数据收集、传输和高并发消息传递的需求。通过持久化能力与副本机制,进一步确保了数据可靠性和业务连续性。即使在高负载情况下也能稳定传递消息,防止数据丢失,维护数据完整性,从而保障了嘉银科技大数据平台的高效运行。


灵活资源管理,优化成本效益云消息队列 Kafka Serverless 系列采用存算分离架构,并结合动态资源调整策略,能够根据实时业务负载自动进行弹性伸缩,实现按量计费,无需预先估算和配置实例规格。不仅降低了嘉银科技运维人员工作的复杂度,还显著降低了资源使用成本。

相关文章
|
14天前
|
人工智能 机器人 Serverless
安诺机器人 X 阿里云函数计算 AI 咖啡印花解决方案
当云计算遇见具身智能,AI咖啡开启零售新体验。用户通过手机生成个性化图像,云端AI快速渲染,机器人精准复刻于咖啡奶泡之上,90秒内完成一杯可饮用的艺术品。该方案融合阿里云FunctionAI生图能力与安诺机器人高精度执行系统,实现AIGC创意到实体呈现的闭环,为线下零售提供低成本、高互动、易部署的智能化升级路径,已在商场、机场、展馆等场景落地应用。
安诺机器人 X 阿里云函数计算 AI 咖啡印花解决方案
|
14天前
|
消息中间件 运维 监控
爆款游戏背后:尚娱如何借助阿里云 Kafka Serverless 轻松驾驭“潮汐流量”?
阿里云 Kafka 不仅为尚娱提供了高可靠、低延迟的消息通道,更通过 Serverless 弹性架构实现了资源利用率和成本效益的双重优化,助力尚娱在快速迭代的游戏市场中实现敏捷运营、稳定交付与可持续增长。
|
9天前
|
人工智能 运维 安全
阿里云函数计算 AgentRun 全新发布,构筑智能体时代的基础设施
云原生应用平台 Serverless 计算负责人杨皓然在云栖大会发表主题演讲“Serverless Agent 基础设施:助力大规模 Agent 部署与运维”。本议题深入介绍了阿里云以函数计算为核心打造的 Agent 基础设施——AgentRun,阐述其如何通过创新的运行时、模型服务、网关及可观测体系,为企业构筑坚实、高效、安全的 Agent 时代基石。
|
9月前
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
12月前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
399 1
|
12月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
275 1
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
937 9
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用问题之处理Kafka数据顺序时,怎么确保事件的顺序性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
194 3
|
消息中间件 存储 Kafka
kafka 在 zookeeper 中保存的数据内容
kafka 在 zookeeper 中保存的数据内容
178 3

热门文章

最新文章

相关产品

  • 云消息队列 Kafka 版