云消息队列 Kafka 版

首页 标签 云消息队列 Kafka 版
|
3天前
|
Storm
作者王刚和刘首维在2019年前使用Storm处理阿里巴巴之家的实时业务,但随着需求增加和数据规模扩大,Storm的开发与维护成本上升。他们面临SQL翻译和过度依赖外部存储(如Redis)的问题。为解决这些问题,团队在2019年初开始转向Flink引擎,Flink的SQL支持和内置状态管理吸引他们。新平台以Flink SQL为基础,服务于多个部门,支持5000亿条日计算量,涵盖实时数仓、推荐、日志分析等场景,最高QPS达200万。平台优势在于低成本开发、高性能、低维护和数据资产管理。架构包含表管理、任务配置、权限管理、UDF管理等,并计划与仓库和业务方合作,丰富功能,迁移至K8s,以及引入Flink 1.9版本。Flink Forward Asia 2019活动将深入讨论大数据技术与开源生态。
|
5天前
|
原来RocketMQ中间件可以这么玩
消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。主要具有以下优势:
|
5天前
|
闭关学习一周kafka,原来他这么快是有原因的!
无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker,二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了,下面我们就聊聊 Kafka 快的原因。
免费试用