Kafka

首页 标签 Kafka
# Kafka #
关注
10043内容
|
13天前
| |
来自: 数据库
Atlas 血缘采集延迟从 30 秒压到 3 秒,我们做了哪些优化 背景
本文分享了Atlas血缘采集链路的实时性优化实践:针对P99延迟高达35秒的问题,通过Kafka消费调优、JanusGraph批量写入、Solr索引异步化等三层关键优化,将端到端血缘可见延迟压至2秒内,显著提升故障定位效率。(239字)
阿里云 Elasticsearch 日志采集与加工服务:让日志链路少一串组件,多一份稳定
阿里云 Elasticsearch 新版本推出日志采集与加工服务,将多源接入、流量缓冲、数据加工和可靠投递整合为云上托管能力,并与已有的写入优化、低成本存储和高性能查询能力形成完整链路,让海量日志处理变得更简单、更完整。 关键字: 阿里云 Elasticsearch、日志服务、日志采集与加工服务、读写分离、存算分离、并发查询、AI Agent
阿里云实时计算Flink版对接实战:从数据源到结果表的全链路开发指南
本文系统讲解阿里云实时计算Flink版(Ververica Runtime)的对接使用方法。从产品架构与核心概念入手,详细说明如何创建Flink作业、配置数据源表(Kafka/DataHub)、定义维表(MySQL/Redis)、编写结果表(Hologres/RDS/OTS),并给出完整的Flink SQL和DataStream双开发模式代码示例。文章涵盖作业提交、运维监控、常见报错排查等生产级要点,帮助你快速上手阿里云实时计算Flink版,构建稳定高效的实时数据处理链路。
阿里云云消息队列Kafka版配置流程完全指南
本文系统梳理了阿里云云消息队列Kafka版的完整配置流程。从服务开通、实例购买部署、Topic与Group创建,到接入点选择、ACL权限控制、监控报警设置,再到自建集群迁移上云和客户端最佳实践,覆盖了从入门到生产环境运维的全链路知识。文章结合实际操作步骤与Java/Python代码示例,帮助读者快速掌握云消息队列Kafka版的核心配置技能,并针对消息堆积、消费延迟等常见问题提供了可落地的解决方案。
|
1月前
| |
来自: 云存储
AutoMQ x 阿里云 OSS Tables:基于 Iceberg 构建流表一体的实时入湖
实时数据入湖效率影响分析时效。传统Kafka→Flink→Iceberg链路需维护同步任务与表优化,成本高、运维重。AutoMQ x OSS Tables新方案实现Kafka Topic自动物化为Iceberg表,并在OSS侧提供托管Catalog与自动化Compaction,端到端简化架构,零额外计算负担,支持Schema演进与CDC Upsert,大幅提升实时入湖可靠性与效率。(239字)
StarRocks x Fluss x Paimon 湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
StarRocks x Fluss x Paimon 湖流一体方案通过将 Apache Fluss(面向分析场景的实时流存储)与 Apache Paimon(高性能湖格式表)深度融合,以 StarRocks 作为统一查询入口,构建了一套具备秒级新鲜度、十倍成本降低、一份数据一次查询的全新实时数据引擎。本文将介绍该方案的核心架构、技术优势、查询模式以及在阿里云 EMR Serverless StarRocks 上的产品化落地。
免费试用