第⼀部分：⼀致性Hash算法
第⼆部分：集群时钟同步问题
第三部分：分布式ID解决⽅案
数据表A（ID），A的数据量很⼤的情况下，我们会进⾏分表操作，A（ID）表拆分成了A1表
（ID）+A2表(ID)，需要⼀种在分布式集群架构中能够产⽣全局唯⼀ID的⽅案
第四部分：分布式调度问题（定时任务的分布式）
1.下列对定时任务描述正确的是()
您的回答: A可以实现异步处理B可以实现应用解耦:C可以实现流量削峰
2.以下属于服务器端定时任务主要实现方式的是()
您的回答: A JDK中的Timer机制 c线程机制 D Quartz任务调度框架
3.分布式调度体现的两层主要含义是()
您的回答: B任务的多实例高可用机制: D任务的拆分机制(任务分片),并行执行
4.下列属于轻量级体现的是()
您的回答: A使用简便，不需安装过多过重的其他服务或者组件B使用一个框架的时候，只把其Jar包引入调用即可ic开发
完成后不需要独立部署
5.下列属于ElasticJob无中心化体现的是()
您的回答: A执行节点对等!C服务自发现
第五部分：Session共享（⼀致性）问题
浏览器—>Nginx—>Tomcat1（Session中记录⽤户信息）
分布式和集群
分布式和集群是不⼀样的，分布式⼀定是集群，但是集群不⼀定是分布式（因为集群就是多个实例⼀起⼯作，分布式将⼀个系统拆分之后那就是多个实例；集群并不⼀定是分布式，因为复制型的集群不是拆分⽽是复制）
作业
作业一：
1）基于SpringBoot整合SSS(Spring+SpringMVC+SpringDataJPA)框架（即整合第一阶段模块三作业第二题内容，含有登录拦截验证）
2）在 1 的基础上开发SpringSession进行Session一致性控制
3）将工程打成war包
4）将war包部署到分布式集群架构中，要求一个Nginx节点，两个Tomcat节点
—> Nginx（轮询策略） —> Tomcat1—> Tomcat2
5）完成测试
思路和原理:
请求通过 tomcat到达 servlet容器的时候,通过过滤器对请求做了一次封装,如果没有过滤器, servet就会从 tomcat中获取 Session
有了过滤器之后,取出来的 Session就是 Redis 中的 Session,有的话就从 Redis中获取,没有的话就创建并提交到 Redis中去
- 使用数据库 test, 执行以下 sql 脚本, 创建了 tb_resume 表, 以及一些初始数据.
SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for tb_resume -- ---------------------------- DROP TABLE IF EXISTS `tb_resume`; CREATE TABLE `tb_resume` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `address` varchar(20) DEFAULT NULL, `name` varchar(20) DEFAULT NULL, `phone` varchar(20) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; -- ---------------------------- -- Records of tb_resume -- ---------------------------- BEGIN; INSERT INTO `tb_resume` VALUES (1, '北京', '张三', '131000000'), (2, '上海', '李四', '151000000'), (3, '⼴州', '王五', '153000000'), (4, '深圳', '小不点', '157000000'), (5, '九江', '大王八', '158000000'), (6, '衡阳', '绿豆汤', '159000000'), (7, '永州', '凉拌粉', '188000000'), (8, '南昌', '南昌拌粉', '18812345566'); COMMIT; SET FOREIGN_KEY_CHECKS = 1;
- 配置 nginx 反向代理
upstream myProxy { server 127.0.0.1:8080; server 127.0.0.1:8081; } server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; #location / { # root html; # index index.html index.htm; # } location / { proxy_pass http://myProxy; proxy_set_header Host $host; } location /favicon.ico { }
- 修改 conf/server.xml, 配置两个 tomcat。
8080的保持默认, 8081的修改一下两个端口.
<Server port="8006" shutdown="SHUTDOWN"> ... <Connector port="8081" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />
- 配置 redis
yum install redis -y, 并修改配置文件 /etc/redis.conf，重启 redis 服务
redis.conf 修改说明
- 将
bind 127.0.0.1 ::1绑定的主机地址这一行注释掉 或者将127.0.0.1改为0.0.0.0。
- 将
protected-mode要设置成no （默认为yes的， 防止了远程访问，在redis3.2.3版本后）
- 按需设置密码
- 开启守护进程
daemonize noredis默认是yes ,以守护进程的方式. 所以无需修改.
若在 docker run命令里边有一个参数-d这个参数也是以守护进程执行。则需要打开配置文件把守护进程修改为 no
# bind 127.0.0.1 protected-mode no requirepass 12345 daemonize yes
- 将模块 1-3 的作业转换为 spring boot 项目
以下分别从代码 和 配置文件 进行阐述.
代码讲解
配置拦截器从 xml 改为 java 代码中配置
package com.lagou.edu.sss.interceptor; @Configuration public class MyWebAppConfigurer implements WebMvcConfigurer { @Autowired private MyInterceptor myInterceptor; @Override public void addInterceptors(InterceptorRegistry registry) { registry.addInterceptor(myInterceptor) .addPathPatterns("/**") .excludePathPatterns("/user/**") .excludePathPatterns("/page/login.htm"); } }
在这里新建了 ServletInitializer 类. 因为若打包成war包,则需要继承 import org.springframework.boot.web.servlet.support.SpringBootServletInitializer 类,覆盖其configure(SpringApplicationBuilder)方法
package com.lagou.edu.sss; public class ServletInitializer extends SpringBootServletInitializer { @Override protected SpringApplicationBuilder configure(SpringApplicationBuilder application) { return application.sources(SssApplication.class); } }
Application 上加入 @EnableCaching 和 @EnableRedisHttpSession 注解.
@SpringBootApplication @EnableCaching @EnableRedisHttpSession public class SssApplication { public static void main(String[] args) { SpringApplication.run(SssApplication.class, args); } }
文件配置讲解
修改 WEB-INF 下的 web.xml 信息
因为打包成war的话,如果打包之后的文件中没有web.xml文件的话自己可以加进去一个最简单的web.xml(只有根节点的定义,而没有子元素)，防止因缺乏web.xml文件而部署失败
<!DOCTYPE web-app PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN" "http://java.sun.com/dtd/web-app_2_3.dtd" > <web-app> <display-name>作业2</display-name> </web-app>
application 配置文件配置
spring.http.encoding.force=true # jsp 支持 spring.mvc.view.suffix=.jsp spring.mvc.view.prefix=/WEB-INF/jsp/ # 关闭默认模板引擎 spring.thymeleaf.cache=false spring.thymeleaf.enabled=false # mysql 配置 spring.datasource.url=jdbc:mysql:///test?characterEncoding=utf-8&serverTimezone=UTC spring.datasource.username=root spring.datasource.password=123456 # redis 配置 spring.redis.database=0 spring.redis.host=localhost spring.redis.port=6379 spring.redis.timeout=5000 spring.redis.password=
建立 webapp 和 page子文件夹，从原项目中拷贝edit.jsp, list.jsp, login.jsp.
pom 文件中引入 jsp 相关支持 和 session支持
<!-- servlet 依赖. --> <dependency> <groupId>javax.servlet</groupId> <artifactId>javax.servlet-api</artifactId> <scope>provided</scope> </dependency> <!--jstl--> <dependency> <groupId>javax.servlet</groupId> <artifactId>jstl</artifactId> </dependency> <!-- tomcat 的支持.--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> <scope>provided</scope> </dependency> <!--引入springBoot 内嵌的Tomcat对JSP的解析包--> <dependency> <groupId>org.apache.tomcat.embed</groupId> <artifactId>tomcat-embed-jasper</artifactId> <scope>provided</scope> </dependency> <!-- session 支持--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.springframework.session</groupId> <artifactId>spring-session-data-redis</artifactId> </dependency>
- 通过
spring-boot:run先自行验证功能是否一切正常
- 打 war 包, 最好在每次 mvn pacakge 前 clear一下, 打好包后重点查看 classes下是否类文件为空, 否则部署会确认内容. 最终重命名为
sss.war. 然后分别发送到对应的 webapp 目录下。部署好以后等待片刻即可访问。
外网版演示地址
http://117.50.94.8/sss/page/list.htm
这次的主要坑点:
- docker 下启动nginx, 但是配置反代理后, 两台tomcat 报502, 最后索性还是 yum 安装 nginx 靠谱. 自己用低配版的1G 版云服务器, 启动两个tomcat 和 一个redis, 一个 mysql8. 最后 docker 强制把我的mysql 销毁了, 感觉是不是扛不住压力, 所以最终docker 下只跑一个 mysql. 然后把 redis 容器, 两 tomcat 容器先停止, 然后直接部署在云服务器上. 最终结果部署花了很多时间.
- 部署war包访问 controller 一直访问 404, 竟然发现 classes 下没有类文件. 所以以后打好 war 包以后一定要检查内容是否确认
- 一定要有java 类继承 org.springframework.boot.web.servlet.support.SpringBootServletInitializer 类,覆盖其configure(SpringApplicationBuilder)方法, 否则 tomcat 的日志不走.
- 程序查看 tomcat 日志是否有异常信息, 因为部署完后不代表成功了.
linux 服务器如何查看日志
1、先切换到：cd usr/local/tomcat5/logs
2、tail -f catalina.out
3、这样运行时就可以实时查看运行日志了
作业二：
请描述你对分布式调度的理解（结合Elastic-Job-lite图文并茂描述）
什么是分布式任务调度？有两层含义
1）运⾏在分布式集群环境下的调度任务（同⼀个定时任务程序部署多份，只应该有⼀个定时任务在执 ⾏）
2）分布式调度—>定时任务的分布式—>定时任务的拆分（即为把⼀个⼤的作业任务拆分为多个⼩的作业任务，同时执⾏）
ElasticJob - 分布式作业调度解决方案
官方网站: http://shardingsphere.apache.org/elasticjob/
ElasticJob 是一个分布式调度解决方案，由 2 个相互独立的子项目 ElasticJob Lite 和 ElasticJob Cloud 组成。
ElasticJob Lite 定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务的协调服务；
ElasticJob Cloud 使用 Mesos + Docker（TODO）的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。
ElasticJob 的各个产品使用统一的作业 API，开发者仅需要一次开发，即可随意部署。
架构图
ElasticJob Lite
功能列表
- 弹性调度
- 支持任务在分布式场景下的分片和高可用
- 能够水平扩展任务的吞吐量和执行效率
- 任务处理能力随资源配备弹性伸缩
- 资源分配
- 在适合的时间将适合的资源分配给任务并使其生效
- 相同任务聚合至相同的执行器统一处理
- 动态调配追加资源至新分配的任务
- 作业治理
- 失效转移
- 错过作业重新执行
- 自诊断修复
- 作业依赖(TODO)
- 基于有向无环图（DAG）的作业间依赖
- 基于有向无环图（DAG）的作业分片间依赖
- 作业开放生态
- 可扩展的作业类型统一接口
- 丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等
- 易于对接业务作业，能够与 Spring 依赖注入无缝整合
- 可视化管控端
- 作业管控端
- 作业执行历史数据追踪
- 注册中心管理
快速入门
引入maven依赖
<!-- 引入elasticjob-lite核心模块 --> <dependency> <groupId>org.apache.shardingsphere.elasticjob</groupId> <artifactId>elasticjob-lite-core</artifactId> <version>${latest.release.version}</version> </dependency> <!-- 使用springframework自定义命名空间时引入 --> <dependency> <groupId>org.apache.shardingsphere.elasticjob</groupId> <artifactId>elasticjob-lite-spring</artifactId> <version>${latest.release.version}</version> </dependency>
作业开发
public class MyElasticJob implements SimpleJob { @Override public void execute(ShardingContext context) { switch (context.getShardingItem()) { case 0: // do something by sharding item 0 break; case 1: // do something by sharding item 1 break; case 2: // do something by sharding item 2 break; // case n: ... } } }
作业配置
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:elasticjob="http://shardingsphere.apache.org/schema/elasticjob" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://shardingsphere.apache.org/schema/elasticjob http://shardingsphere.apache.org/schema/elasticjob/elasticjob.xsd "> <!--配置作业注册中心 --> <elasticjob:zookeeper id="regCenter" server-lists="yourhost:2181" namespace="elastic-job" base-sleep-time-milliseconds="1000" max-sleep-time-milliseconds="3000" max-retries="3" /> <!--配置任务快照服务 --> <elasticjob:snapshot id="jobSnapshot" registry-center-ref="regCenter" dump-port="9999"/> <!--配置作业类 --> <bean id="simpleJob" class="xxx.MyElasticJob" /> <!--配置作业 --> <elasticjob:simple id="oneOffElasticJob" job-ref="simpleJob" registry-center-ref="regCenter" cron="0/10 * * * * ?" sharding-total-count="3" sharding-item-parameters="0=A,1=B,2=C" /> </beans>
其他笔记
拦截器与Filter的区别
Spring的拦截器与Servlet的Filter有相似之处，比如二者都是AOP编程思想的体现，
都能实现权限检查、日志记录等。不同的是:
- 使用范围不同: Filter 是Servlet 规范规定的，只能用于Web程序中。而拦截器既
可以用于Web程序，也可以用于Application、Swing 程序中。
- 规范不同: Filter 是在Servlet规范中定义的，是Servlet容器支持的。而拦截器是
在Spring容器内的，是Spring框架支持的。
- 使用的资源不同:同其他的代码块一样， 拦截器也是一个Spring的组件，归Spring
管理，配置在Spring文件中，因此能使用Spring里的任何资源、对象，例如Service
对象、数据源、事务管理等，通过IoC注入到拦截器即可;而 Filter 过滤器不能。
- 深度不同: Filter 在只在Servlet前后起作用。而拦截器能够深入到方法前后、异常抛出前后等，因此拦截器的使用具有更大的弹性。所以在 Spring 构架的程序中，要优先使用拦截器。
