KnowStreaming系列教程第一篇——安装和使用

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: KnowStreaming系列教程第一篇——安装和使用

KnowStreaming介绍

Know Streaming是一套云原生的Kafka管控平台,脱胎于众多互联网内部多年的Kafka运营实践经验,专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景。在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为Kafka专家。

https://github.com/didi/KnowStreaming

KnowStreaming开发和启动

knowStreaming环境搭建

开发文档:https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md

前端:https://github.com/didi/KnowStreaming/blob/master/km-console/README.md

相关环境快速快速指南

(1)mysql快速安装指南:docker安装mysql

https://blog.csdn.net/weixin_43291055/article/details/120335261

(2)kafka快速安装指南:docker-compose 安装kafka

https://gitee.com/ZhuGeZiFang/docker-bigdata/blob/master/kafka/docker-compose.yml

(3)es快速安装指南:docker-compose 安装es

https://gitee.com/ZhuGeZiFang/docker-bigdata/blob/master/es/docker-compose.yml

es信息初始化:

KnowStreaming\bin\init_es_template.sh 修改esaddr信息进行初始化,运行init_es_template.sh

mysql信息初始化:

KnowStreaming\km-persistence\src\main\resources\sql 下所有sql文件需要运行建表

配置信息修改:

KnowStreaming\km-rest\src\main\resources\application.yml

mysql配置信息

三处和mysql相关的信息都得配置

es配置信息

最后参考文档 https://github.com/didi/KnowStreaming/blob/master/docs/dev_guide/%E6%9C%AC%E5%9C%B0%E6%BA%90%E7%A0%81%E5%90%AF%E5%8A%A8%E6%89%8B%E5%86%8C.md

第三步和第四部即可启动


相关文章
|
设计模式 前端开发 Java
KnowStreaming系列教程第二篇——项目整体架构分析
KnowStreaming系列教程第二篇——项目整体架构分析
271 0
|
数据可视化 前端开发 Java
ElasticSearch可视化管理工具cerebro的安装与简单使用
ElasticSearch可视化管理工具cerebro的安装与简单使用
2181 0
ElasticSearch可视化管理工具cerebro的安装与简单使用
|
消息中间件 运维 监控
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
3144 1
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
1457 9
|
消息中间件 Prometheus 监控
使用jmx exporter采集kafka指标
使用jmx exporter采集kafka指标
739 4
|
消息中间件 监控 Java
使用 JMX 监控 Kafka 集群性能指标
使用 JMX 监控 Kafka 集群性能指标
1718 1
|
消息中间件 存储 Prometheus
【Kafka】Kafka 提供了哪些系统工具
【4月更文挑战第11天】【Kafka】Kafka 提供了哪些系统工具
|
分布式计算 资源调度 Hadoop
Hadoop学习笔记(HDP)-Part.18 安装Flink
本文详细介绍了在HDP集群中通过Ambari部署Flink的全过程,涵盖环境配置、服务集成、参数调优及常见问题解决。重点包括Flink与YARN集成、Kerberos认证下任务提交,并以WordCount实例验证流处理功能,助力构建稳定高效的大数据实时计算平台。
982 0
|
消息中间件 算法 Java
go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费
go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费
691 0

热门文章

最新文章