KnowStreaming系列教程第一篇——安装和使用

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: KnowStreaming系列教程第一篇——安装和使用

KnowStreaming介绍

Know Streaming是一套云原生的Kafka管控平台,脱胎于众多互联网内部多年的Kafka运营实践经验,专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景。在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为Kafka专家。

https://github.com/didi/KnowStreaming

KnowStreaming开发和启动

knowStreaming环境搭建

开发文档:https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md

前端:https://github.com/didi/KnowStreaming/blob/master/km-console/README.md

相关环境快速快速指南

(1)mysql快速安装指南:docker安装mysql

https://blog.csdn.net/weixin_43291055/article/details/120335261

(2)kafka快速安装指南:docker-compose 安装kafka

https://gitee.com/ZhuGeZiFang/docker-bigdata/blob/master/kafka/docker-compose.yml

(3)es快速安装指南:docker-compose 安装es

https://gitee.com/ZhuGeZiFang/docker-bigdata/blob/master/es/docker-compose.yml

es信息初始化:

KnowStreaming\bin\init_es_template.sh 修改esaddr信息进行初始化,运行init_es_template.sh

mysql信息初始化:

KnowStreaming\km-persistence\src\main\resources\sql 下所有sql文件需要运行建表

配置信息修改:

KnowStreaming\km-rest\src\main\resources\application.yml

mysql配置信息

三处和mysql相关的信息都得配置

es配置信息

最后参考文档 https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md

第三步和第四部即可启动


相关文章
|
设计模式 前端开发 Java
KnowStreaming系列教程第二篇——项目整体架构分析
KnowStreaming系列教程第二篇——项目整体架构分析
200 0
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
3449 2
2024年了,如何更好的搭建Kafka集群?
|
Java
【极问系列】springBoot集成elasticsearch出现Unable to parse response body for Response
【极问系列】springBoot集成elasticsearch出现Unable to parse response body for Response
1418 2
|
数据可视化 前端开发 Java
ElasticSearch可视化管理工具cerebro的安装与简单使用
ElasticSearch可视化管理工具cerebro的安装与简单使用
1875 0
ElasticSearch可视化管理工具cerebro的安装与简单使用
|
消息中间件 运维 监控
|
Java Nacos Spring
nacos2.2.3 怎么动态读取 logback-spring.xml?
nacos2.2.3 怎么动态读取 logback-spring.xml?
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
1018 9
|
消息中间件 监控 Java
使用 JMX 监控 Kafka 集群性能指标
使用 JMX 监控 Kafka 集群性能指标
1371 1
|
消息中间件 Prometheus 监控
使用jmx exporter采集kafka指标
使用jmx exporter采集kafka指标
521 4
|
Java 调度 Spring
KnowStreaming系列教程第三篇——调度任务模块
KnowStreaming系列教程第三篇——调度任务模块
249 0