云消息队列 Kafka 版

首页 标签 云消息队列 Kafka 版
|
5天前
| |
来自: 云原生
存算分离不只是弹性:一份 Kafka 数据如何同时服务当下与未来
本文整理自 Apache 2026 技术分享《实时湖仓管道:分离式 Kafka 中的原生入湖与内嵌计算》。
|
20天前
| |
来自: 云存储
流数据还在写文件慢慢导?Kafka Connect 一条链路直接入湖【详解 OSS Tables 系列】
本文详解如何通过Kafka Connect Iceberg Sink Connector,将Kafka流数据实时写入阿里云OSS Tables数据湖。涵盖环境准备、Table Bucket/命名空间/表创建、Connector配置及权限设置,实现免运维、Exactly-Once的流式入湖。
|
24天前
|
用 Kafka 解耦大模型调用:构建可重试、可追踪的异步任务队列
本文介绍一种基于Kafka的异步大模型调用架构:将请求接入与模型执行解耦,通过任务ID幂等、手动位点提交、死信队列和结果持久化,保障高可靠性与可观测性,适用于摘要、分类等非实时场景。(239字)
阿里云云消息队列Kafka版配置流程完全指南
本文系统梳理了阿里云云消息队列Kafka版的完整配置流程。从服务开通、实例购买部署、Topic与Group创建,到接入点选择、ACL权限控制、监控报警设置,再到自建集群迁移上云和客户端最佳实践,覆盖了从入门到生产环境运维的全链路知识。文章结合实际操作步骤与Java/Python代码示例,帮助读者快速掌握云消息队列Kafka版的核心配置技能,并针对消息堆积、消费延迟等常见问题提供了可落地的解决方案。
|
2月前
|
阿里云Kafka一键入湖技术详解:Iceberg+OSS Table Bucket落地方案
阿里云消息队列Kafka版推出原生消息入湖能力,该功能依托Apache Iceberg与OSS Table Bucket深度集成,无需额外部署Spark、Flink、Kafka Connect等ETL计算集群,仅通过控制台简单配置,就能将Topic内实时数据流直接写入数据湖,构建“实时流处理+湖仓一体分析”端到端链路。该功能开启公测,后续将正式商业化落地,彻底解决传统流式入湖架构多集群、多任务、高运维的痛点,重构企业实时数据流转模式。
|
2月前
|
Kafka 太重?试试 NSQ:一个优雅到极致的消息队列
NSQ是Bitly开源的Go语言分布式消息队列,主打轻量、低延迟与高可用。本文详解其Topic/Channel模型、三大组件(nsqd/nsqlookupd/nsqadmin)、Docker快速部署及完整Go生产/消费示例,助你高效掌握这一老牌实用中间件。(239字)
|
2月前
|
RabbitMQ 太重,Kafka 太复杂?Go 开发者:Asynq分布式任务队列就刚刚好
Asynq 是 Go 语言中基于 Redis 的轻量级异步任务队列库,支持延迟/定时任务、失败重试、优先级队列、唯一任务及超时控制,助力后端高效处理邮件发送、文件处理等耗时操作,提升系统性能与用户体验。(239字)
|
3月前
| |
来自: 云原生
AI 时代,实时入湖正在告别 ETL:从 Kafka 到 Iceberg 的架构减法
本文围绕“零 ETL”这一趋势,讨论流数据入湖为什么需要做架构减法,并结合 Kafka × Table Bucket 的实践,分析一种将通用入湖能力前移到消息与表存储链路中的方案,如何在降低复杂度的同时,兼顾实时性、一致性、Schema 演进、CDC 语义与开放生态兼容。
|
3月前
|
Windows系统下Kafka KRaft模式配置与启动教程
本文介绍在Windows环境中以KRaft模式部署Kafka的完整流程。内容包括创建数据存储目录、修改配置文件、生成集群ID并格式化存储,以及使用指定配置文件启动Kafka服务。全程无需ZooKeeper,适合快速搭建轻量级Kafka集群。
免费试用