Kafka

首页 标签 Kafka
# Kafka #
关注
9984内容
|
2天前
|
在 OpenAI 打造流处理平台:超大规模实时计算的实践与思考
本文整理自 OpenAI 基础设施团队的 Shuyi Chen 和 Joey Pereira 在 Current 2025 伦敦会议上的演讲 ”Building a Stream Processing Platform at OpenAI“,主要演讲内容为: OpenAI 的流式基础设施 构建流处理平台的动机及遇到的挑战; OpenAI 的整体架构及深入解读 OpenAI 业务用例以及平台未来的演进方向
|
9天前
| |
来自: 数据库
强一致性时代,Kafka、Redis、Celery 谁才是那块短板
这篇文章讨论了一个金融级实时Tick数据项目的失败与修复。项目最初使用Celery、Kafka和Redis,但因缺乏重试、幂等和安全策略导致问题。文章提出了四个关键改进方向,修复后的系统满足了金融级要求,总结了五点教训。
|
10天前
|
淘宝京东拼多多API:电商供应链优化的关键钥匙
电商供应链竞争加剧,淘宝、京东、拼多多API成破局关键。本文解析三大平台API能力,聚焦库存同步、物流追踪、需求预测等核心场景,探讨通过Kafka数据流、SKU分级对接实现供应链可视化与智能决策,助力企业构建高效、韧性供应链体系。(238字)
|
14天前
|
企业微信ipad协议:Silk语音流转码为PCM的实时管线设计企业微信ipad协议:Silk语音流转码为PCM的实时管线设计企业微信ipad协议:Silk语音流转码为PCM的实时管线设计企业微信ipad协议:Silk语音流转码为PCM的实时管线设计
企业微信iPad协议中,语音消息采用Silk V3编码。为实现低延迟ASR,网关需实时将流式Silk解码为PCM并推送Kafka。通过内存池缓存解码器、无锁环形队列传输、逐块分窗处理,实现零拷贝、P99延迟≤10ms。单核支持200路并发,为实时字幕与语义分析提供高效数据底座。(238字)
|
16天前
|
聊聊场景题:百万人同时点赞怎么办?这个怎么回答
如今面试更重场景题,如“百万用户同时点赞”类问题,考察高并发下系统设计能力。重点在于流量削峰、数据一致、可用性与资源优化。核心思路:用Kafka削峰、Redis缓存状态与计数、异步批量同步数据库,实现高性能、高可用与最终一致性,兼顾体验与成本,体现技术选型与业务权衡能力。
|
22天前
|
【架构师】如何做技术选型?
技术选型无绝对优劣,关键在于“更合适”。需综合评估功能满足度、可扩展性、安全性、性能等非功能性需求,同时考量使用人数、社区活跃度、迭代速度、学习与维护成本,以及与现有技术体系的匹配度,权衡利弊后做出最优选择。
|
24天前
| |
来自: 无影
java消费消息且保证消息不丢失
本文介绍Java中如何安全消费消息并防止消息丢失或篡改,涵盖Kafka与RabbitMQ的消息持久化、手动确认机制及偏移量控制,强调事务处理与元数据保留,确保消息完整性与可靠性。
免费试用