分布式技术之dubbo二

简介: 分布式技术之dubbo二

1,课程回顾
2,本章重点

父子工程的使用,子工程相互调用

springboot+mybatis+dubbo+zookeeper+mysql

部署一个dubbo_admin治理项目(可以对提供者和消费者进行管理)

dubbo负载均衡功能

3,具体内容
3.1 springboot,mybatis整合dubbo

3.1.1创建父项目(springboot+mybatis方式创建),pom.xml引入jar:

<!--引入springboot 和dependencies并列-->
  <parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.5.7</version>
    <relativePath/> <!-- lookup parent from repository -->
  </parent>
<!--springboot web包-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--简化实例类包-->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<optional>true</optional>
</dependency>
<!-- Spring Boot Dubbo 依赖 -->
<dependency>
<groupId>com.alibaba.spring.boot</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.0.0</version>
</dependency>
<!-- zookeeper依赖 -->
<dependency>
<groupId>com.101tec</groupId>
<artifactId>zkclient</artifactId>
<version>0.10</version>
</dependency>    

3.1.2 创建子项目common

创建公共的实体类和服务层接口

3.1.3创建子项目consumer

pom.xml
           <dependency>
            <groupId>com.aaa</groupId>
            <artifactId>common</artifactId>
            <version>0.0.1-SNAPSHOT</version>
        </dependency>

新建启动类并加入dubbo支持:

package com.aaa.pc;
import com.alibaba.dubbo.spring.boot.annotation.EnableDubboConfiguration;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.SpringBootConfiguration;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/**
 * @ fileName:PowerConsumerApplication
 * @ description:
 * @ author:zhz
 * @ createTime:2022/1/5 9:51
 * @ version:1.0.0
 */
@SpringBootApplication
@EnableDubboConfiguration  //开启dubbo配置
public class PowerConsumerApplication {
    public static void main(String[] args) {
        //run方法
        SpringApplication.run(PowerConsumerApplication.class,args);
    }
}

编写controller,引入Service:

@Reference(check=false)

Dubbo 缺省会在启动时检查依赖的服务是否可用,不可用时会抛出异常,阻止 Spring 初始化完成,以便上线时,能及早发现问题,默认 check=“true”.

可以通过 check=“false” 关闭检查,比如,测试时,有些服务不关心,或者出现了循环依赖,必须有一方先启动。

package com.aaa.pc.controller;
import com.aaa.common.controller.BaseController;
import com.aaa.common.entity.Menu;
import com.aaa.common.service.MenuService;
import com.aaa.common.util.Result;
import com.alibaba.dubbo.config.annotation.Reference;
import org.springframework.web.bind.annotation.*;
import javax.annotation.Resource;
import java.util.Map;
/**
 * 菜单权限表(Menu)表控制层
 *
 * @author makejava
 * @since 2022-01-05 09:45:33
 */
@RestController
@RequestMapping("menu")
public class MenuController extends BaseController {
    /**
     * 服务对象
     */
    @Reference(check = false)   //没有配置文件,直接使用引用注解
    private MenuService menuService;
    /**
     * 通过主键查询单条数据
     *
     * @param id 主键
     * @return 单条数据
     */
    @GetMapping("selectOne")
    public Result selectOne(Integer id) {
        return this.success(this.menuService.queryById(id));
    }
    /**
     * 添加
     *
     * @param menu
     * @return
     */
    @PutMapping("add")
    public Result add(@RequestBody Menu menu) {
        return this.success(this.menuService.insert(menu));
    }
    /**
     * 更新
     *
     * @param menu
     * @return
     */
    @PutMapping("update")
    public Result update(@RequestBody Menu menu) {
        return this.success(this.menuService.update(menu));
    }
    /**
     * 根据编号删除
     *
     * @param id
     * @return
     */
    @DeleteMapping("deleteById")
    public Result deleteById(Integer id) {
        return this.success(this.menuService.deleteById(id));
    }
}
application.properties:
#访问端口号
server.port=18090
#dubbo - customer名称
spring.dubbo.application.name=power_customer

zookeeper 注册中心

spring.dubbo.registry.address=zookeeper://192.168.170.41:2181

#dubbo 通信端口

spring.dubbo.protocol.name=dubbo

spring.dubbo.protocol.port=20881

3.1.4创建子项目provider

pom.xml
       <dependency>
    <groupId>com.aaa</groupId>
    <artifactId>common</artifactId>
    <version>1.0-SNAPSHOT</version>
</dependency>
<dependency>
    <groupId>org.mybatis.spring.boot</groupId>
    <artifactId>mybatis-spring-boot-starter</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.10</version>
</dependency>
<!--druid包-->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.2.8</version>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.2.8</version>
</dependency>

启动类加入:

package com.aaa.pp;
import com.alibaba.dubbo.spring.boot.annotation.EnableDubboConfiguration;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.transaction.annotation.EnableTransactionManagement;
/**
 * @ fileName:PowerProviderApplication
 * @ description:
 * @ author:zhz
 * @ createTime:2022/1/5 10:32
 * @ version:1.0.0
 */
@SpringBootApplication
@EnableDubboConfiguration
//@EnableTransactionManagement
public class PowerProviderApplication {
    public static void main(String[] args) {
        SpringApplication.run(PowerProviderApplication.class,args);
    }
}
编写服务实现类加入  @server 
            @com.alibaba.dubbo.config.annotation.Service
            @Service  为dubbo 注解,注解暴露服务
application.properties:
spring.datasource.druid.url=jdbc:mysql://localhost:3306/db_qy141
spring.datasource.druid.username=root
spring.datasource.druid.password=root
spring.datasource.druid.initial-size=5
spring.datasource.druid.max-active=20
spring.datasource.druid.min-idle=10
spring.datasource.druid.max-wait=10
#端口号
server.port=19090
#dubbo 服务名称
spring.dubbo.application.name=power_provider

zookeeper 注册中心

spring.dubbo.registry.address=zookeeper://192.168.170.41:2181

#zookeeper 通信端口

spring.dubbo.protocol.name=dubbo

spring.dubbo.protocol.port=20881

3.2 服务治理

3.2.1 多台zk集群

前面配置过,直接启动

3.2.2 配置治理项目,并且测试

配置tomcat

tar -xzvf /root/software/apache-tomcat-9.0.52.tar.gz -C /usr/

vim /etc/profile

修改为:

export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:/usr/apache-tomcat-9.0.52/bin

生效:

source /etc/profile

startup.sh

查看是否启动成功

jps 或者 ps -ef |grep tomcat |grep -v grep

jps 可以看到Bootstrap进程

复制准备好dubbo-admin项目到tomcat下

使用xft 把dubbo-admin.war上传到/usr/apache-tomcat-9.0.52/webapps/

修改配置

vim /usr/apache-tomcat-9.0.52/webapps/dubbo-admin/WEB-INF/dubbo.properties

修改第一行:

127.0.0.1 修改为 192.168.xxx.41 (zk所在的机子IP)

启动zk集群:

/root/shelldir/zk-start-stop.sh

测试

http://192.168.170.41:8080/dubbo-admin/

3.2.3 启动提供者和消费者,查看admin项目变化

3.3 负载均衡,集群容错, 服务降级(半权) 路由规则,动态配置,访问控制,权重调节

打包生成多个服务:

cd soft/

使用xftp 把provider_jar上传

cd provider_jar/

java -jar

java -jar provider.jar

运行出错:slf4j-log4j12-1.7.26.jar

修改META-INF/MANIFEST.MF文件,删除slf4j-log4j12-1.7.26.jar包,再次打包运行

再次rebuild 时,要再次修改META-INF/MANIFEST.MF 文件中多余的jar

4,知识点总结
5,本章面试题

目录
相关文章
|
2月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
600 4
|
3月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
405 4
|
9月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
2月前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
|
3月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
320 0
|
7月前
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
746 35
|
8月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
10月前
|
机器学习/深度学习 存储
DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术
随着深度学习模型和数据集规模的扩大,单机训练已无法满足需求,分布式训练技术应运而生。DeepSeek框架支持数据并行和模型并行两种模式,通过将计算任务分配到多个节点上并行执行,显著提高训练效率。本文介绍DeepSeek中的分布式训练技术,包括配置与启动方法,帮助用户轻松实现大规模模型训练。数据并行通过`MirroredStrategy`同步梯度,适用于大多数模型;模型并行则通过`ParameterServerStrategy`异步处理大模型。DeepSeek简化了分布式环境配置,支持单机多卡和多机多卡等场景。
|
12月前
|
存储 缓存 负载均衡
从零到一:分布式缓存技术初探
分布式缓存通过将数据存储在多个节点上,利用负载均衡算法提高访问速度、降低数据库负载并增强系统可用性。常见产品有Redis、Memcached等。其优势包括性能扩展、高可用性、负载均衡和容错性,适用于页面缓存、应用对象缓存、状态缓存、并行处理、事件处理及极限事务处理等多种场景。
715 1
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
461 2