分布式消息系统Jafka入门指南之二

简介: 版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/24693829 分布式消息系统Jafka入门指南之二作者:chszs,转载需注明。
版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/24693829

分布式消息系统Jafka入门指南之二

作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs

三、Jafka的目录结构

1、安装tree命令
$ sudo yum install tree

2、查看目录
$ tree -L 1
.
?..?? bin
?..?? conf
?..?? data
?..?? lib
?..?? LICENSE
?..?? logs
?..?? VERSION

说明:
bin目录:命令行脚本
conf目录:存放配置文件
data目录:消息的topic数据
lib目录:java运行依赖库
logs目录:存放log4j日志输出
VERSION文件:版本文件
LICENSE文件:许可证文件

四、环境变量及运行

最好是配置JAFKA_HOME环境变量。

在Linux系统下,run.sh脚本说明
用法:./run.sh [ console | start | stop | restart | condrestart | status | install | remove | dump ]
命令参数:
console:运行于当前的控制台
start:以守护进程运行在后台
stop:如果正在以守护进程或其它控制台运行,那么停止它
restart:如果正在运行,那么停止它,再重启它
condrestart:如果正在运行,那么重启它
status:查询当前状态
install:设置为服务器开机自启动服务
remove:移除服务
dump:如果正在运行,请求Java线程堆

在Windows系统下,执行jafka.exe命令来启动服务。
主要的命令说明
jafka -?    查看帮助
jafka -i jafka.conf    安装为Windows自启动服务
jafka -t    运行服务
jafka -p    停止服务

五、设置Maven依赖
<dependency>
  <groupId>com.sohu.jafka</groupId>
  <artifactId>jafka</artifactId>
  <version>1.2.3</version>
</dependency>

六、Jafka的依赖包
1、JSON库jackson
2、Java命令行解析库jopt simple
3、日志库log4j和slf4j
4、Kafka监控mx4j-tool
5、zookeeper的Java客户端zkclient
6、大型分布式可靠协调库zookeeper

要说明一点,在查看Jafka的源码文件时,发现了包命名中含有sohu,估计Jafka是sohu开源的项目。


目录
相关文章
|
16天前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
47 4
|
1月前
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
104 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
21天前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】分布式通信与 NVLink
进入大模型时代后,AI的核心转向大模型发展,训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制,跨多个GPU的分布式训练成为必要,这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务,而NVLink则是一种高速、低延迟的通信技术,用于连接GPU或GPU与其它设备,以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长,分布式并行策略,如数据并行和模型并行,变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理,提高了训练效率。此外,NVLink和NVSwitch技术的持续演进,为GPU间的高效通信提供了更强的支持,推动了大模型训练的快
37 0
|
2月前
|
消息中间件 关系型数据库 Java
‘分布式事务‘ 圣经:从入门到精通,架构师尼恩最新、最全详解 (50+图文4万字全面总结 )
本文 是 基于尼恩之前写的一篇 分布式事务的文章 升级而来 , 尼恩之前写的 分布式事务的文章, 在全网阅读量 100万次以上 , 被很多培训机构 作为 顶级教程。 此文修改了 老版本的 一个大bug , 大家不要再看老版本啦。
|
2月前
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
59 3
|
2月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现
消息队列系统中的确认机制在分布式系统中如何实现
|
2月前
|
消息中间件 存储 监控
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
【10月更文挑战第2天】消息队列系统中的确认机制在分布式系统中如何实现
|
2月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
82 2
|
2月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?
|
3月前
|
Dubbo Java 应用服务中间件
分布式-dubbo的入门
分布式-dubbo的入门