Kafka

首页 标签 Kafka
# Kafka #
关注
9968内容
|
5月前
|
搭建Zookeeper、Kafka集群
本文详细介绍了Zookeeper和Kafka集群的搭建过程,涵盖系统环境配置、IP设置、主机名设定、防火墙与Selinux关闭、JDK安装等基础步骤。随后深入讲解了Zookeeper集群的安装与配置,包括数据目录创建、节点信息设置、SASL认证配置及服务启动管理。接着描述了Kafka集群的安装,涉及配置文件修改、安全认证设置、生产消费认证以及服务启停操作。最后通过创建Topic、发送与查看消息等测试验证集群功能。全网可搜《小陈运维》获取更多信息。
Lalamove基于Flink实时湖仓演进之路
本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写,围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景,随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战,如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程,解决了数据延迟、兼容性及资源消耗等问题。最后展望未来,提出基于Fluss+Paimon优化架构的方向,进一步提升性能与降低成本。
RocketMQ实战—4.消息零丢失的方案
本文分析了用户支付完成后未收到红包的问题,深入探讨了RocketMQ事务消息机制的实现原理及其在确保消息零丢失中的作用。首先,通过全链路分析发现消息可能在推送、存储或消费环节丢失。接着,介绍了RocketMQ事务消息机制如何通过half消息、本地事务执行及回调确认来保证消息发送成功,并详细解析了其底层原理,如half消息对消费者不可见、rollback与commit操作等。同时,对比了同步重试方案,指出其在复杂场景下的局限性。
|
5月前
| |
来自: 云原生
10倍降本、10倍无损弹性!Kafka Serverless 基础版与专业版重磅发布!
云消息队列 Kafka 版基于 Apache Kafka 构建,提供高吞吐量与高可扩展性的分布式消息队列服务,广泛应用于日志收集、监控数据聚合、流式数据处理及在离线分析等场景,是 AI 与大数据时代企业数据处理体系的核心组件。
|
5月前
| |
来自: 云原生
ApsaraMQ x Confluent 云原生 Kafka 线上沙龙
云消息队列 Kafka 版是基于 Apache Kafka 构建的全托管服务,依托于阿里云强大的基础设施,对 Apache Kafka 进行了深度重构,通过存算分离架构、高弹性扩展、云服务深度集成等优化,致力于打造更经济、更稳定、更弹性的云原生 Kafka 产品,助力企业在数字化与智能化转型中,实现业务的稳定增长与创新突破。同时,阿里云作为全球消息流领域领导者 Confluent 在中国大陆地区唯一的合作商,推出云消息队列 Confluent 版,为企业提供集成消息流式处理与大数据系统的一站式解决方案。
|
5月前
| |
来自: 云原生
云原生 Kafka 问卷调研启动,你的声音很重要!参与赢精美礼品!
Apache Kafka 作为高吞吐的分布式消息系统,支持实时数据采集、传输、存储及处理,广泛应用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景,是大数据生态的核心组件。然而,随着云计算的快速发展,传统 Kafka 架构在云环境中的局限性日益凸显。
|
5月前
| |
来自: 云原生
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
G1原理—10.如何优化G1中的FGC
本文主要探讨G1垃圾回收器中的FGC(Full GC)优化问题,分析其触发原因及优化策略。首先,通过一个实际案例(Kafka发送重试+`subList`导致List不断增大)展示FGC的产生过程及其影响。其次,对比G1与ParNew + CMS的FGC触发机制,指出G1的FGC更严重的原因,包括更大的堆内存管理需求、苛刻的触发条件以及复杂的RSet处理。最后,介绍FGC相关参数优化思路,如调整`-XX:G1HeapRegionSize`、`-XX:G1ReservePercent`等参数,以提升垃圾回收效率,减少FGC的发生频率。总结强调避免FGC的核心在于让垃圾回收速度匹配垃圾产生速度。
免费试用