Kafka

首页 标签 Kafka
# Kafka #
关注
10063内容
想做一套设备管理系统,权限报表真的要自己写吗
本文探讨中小团队开发设备管理系统时,权限、审批、报表、开放接口等“底座能力”自研成本高、维护难的问题,推荐基于开源内核GewuMind Boot的解决方案:复用45+内置表、角色/字典/菜单在线管理、9种预置报表、可视化工作流及appKey鉴权接口,专注设备业务本身。(239字)
|
8天前
|
DataGrip 里查看 Kafka 消息和 ES 文档:DataBridge 使用记录
记录 DataBridge 的安装和连接方法,给出 ES、Kafka 查询示例,说明 ZooKeeper、RabbitMQ、Nacos、MinIO/S3 的操作入口与限制。附本机界面截图及配音视频。
|
12天前
| |
来自: 弹性计算
消息队列 Kafka 实践:千里达票务系统行为日志与埋点实时流
之前埋点直接打SLS,日活上来后每秒几万条,SLS成本高且无法实时计算。引入阿里云Kafka作为埋点总线:小程序/APP埋点→API网关→Kafka Topic→Flink实时算在园人数写Redis,同时落SLS/MaxCompute归档。按scene_id做key保证同景区事件有序。踩坑复盘(事件乱序用event_time窗口、消费积压坏消息进死信队列、按业务域拆Topic、分级保留期防磁盘打满)。实时在园人数从5分钟级变秒级。
|
13天前
| |
Flink 快速入门之 Flink DataStream Batch 模式
本文深度解析Flink 2.x中被移除DataSet API后,DataStream的BATCH执行模式:它不是“慢速流”,而是在调度、数据交换、状态管理三方面彻底重构的批处理范式;详解模式切换带来的行为差异、失效特性(如checkpoint依赖功能)及避坑要点,助你真正用好流批一体。
|
14天前
| |
一条流跑起来要过三关:Flink 2.3 流处理代码骨架
本文深入解析Flink流处理核心机制,聚焦时间语义(水位线)、状态管理(TTL与容错)和端到端一致性(Exactly-Once写入)三大生死关键。基于Flink 2.3实测,覆盖Source/Sink配置、算子链优化、窗口语义、Checkpoint调优及上线硬约束,助你写出稳定、低延迟、可恢复的生产级流作业。
|
15天前
| |
Flink 的对手换了:三条分野,重排实时计算选型
本文深度剖析2026年Flink与Spark等流处理方案的本质差异,摒弃过时对比表,聚焦**执行模型、状态归属、交付形态**三大分野,直击选型核心:不是“谁更强”,而是“哪种复杂度你付得起”。
|
17天前
| |
Structured Streaming 数据源落地案例:四种源、四段可直接抄的代码与踩坑实录
本文详解Structured Streaming四大生产级数据源实战:Kafka限流防积压、File源原子写入与maxFileAge误读避坑、Rate源渐进式背压验证、foreachBatch一托三幂等分发。每个案例均按“约束→写法→翻车→修复”闭环展开,直击参数设计本质与线上事故根因。(239字)
实时数据采集神器!PLC、Kafka、数据库日志都能接,工业数据终于不用一个个写接口了
企业实时数据建设的瓶颈常在“采集”而非建模:PLC/传感器协议异构、数据库变更捕获难、Kafka乱序丢数、多源重复开发……真正成熟的方案需构建统一接入层,收敛协议、复用日志、内嵌轻量处理,并覆盖端到端监控——实现可管理、可恢复、可监控的标准化数据流。
ACK 不是“收到”:实时数据接入系统中的成功语义
本文深度剖析数据接入中“ACK≠收到”的本质陷阱,厘清内存、缓存、持久化、业务提交四层确认语义,揭示丢数据、重复、延迟的根因。强调:ACK必须锚定明确恢复点,并匹配业务容错能力——不是技术问题,而是责任边界的定义问题。
|
20天前
| |
Structured Streaming 时间分类:事件时间、处理时间、摄入时间
本文详解Structured Streaming中事件时间、摄入时间、处理时间的本质差异:谁赋值、是否受延迟影响、重放是否一致。配架构图与选型表,代码对比窗口漂移,并揭示四大高频翻车点,助你避开流计算中最隐蔽的时间陷阱。
免费试用