Java面试准备-分布式

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Java面试准备-分布式

分布式幂等性如何设计?


根据业务场景建立唯一索引、或者建立组合索引,这样防止产生脏数据

token机制:通过redis来实现防重复提交

悲观锁

乐观锁

分布式锁


简单描述一下HTTP请求的过程


DNS解析

HTTP请求,当输入一个请求时,会进行TCP3次握手

客户端向服务端发送请求命令(Post、Get)

客户端发送请求头信息

服务端向客户端发送数据

服务端关闭TCP连接

客户端渲染


说说你对分布式事务的了解


ACID:

A:原子性

C:一致性

I:隔离性

D:持久性

ACP:

A:一致性:同一时刻不同节点是否保持一致

C:可用性:在某一节点出现问题时,是否还可以对外提供服务

P:分区容错性:A和C必须保证一个

BASE理论:是对CAP理论的一个权衡结果,我们复发做到强一致性,但是每个应用可以根据自身的特点,采用适当的方式来达到最终一致性。


分布式事务解决方案


两阶段提交(2PC)

三阶段提交(3PC)

补偿事务(TCC)

本地消息队列

最终一致性


负载均衡有哪些算法


随机

轮询

加权轮询

最少连接

源地址hash


常见的限流算法


计数器

使用计数器在周期内累加访问次数,当达到设定的限流值,触发限流策略,下一个周期开始时从新开始计数。(在单机或者分布式情况下,可以采用redis的incr原子自增操作来实现)。零界点问题。

滑动窗口

将时间分成很多个小周期,分别记录每个小周期内访问次数,并且根据时间滑动删除过期的小周期。

漏桶算法

访问请求到来时,直接放入漏桶,如当前容量已达到上限,则直接进行丢弃。

令牌桶算法

是以固定的算法(r=时间周期/限流值)的速度向令牌桶中加入令牌,直到令牌桶满,请求到达时向令牌桶获取令牌,获取成功则继续执行,获取失败则触发限流策略。


数据库如何处理海量数据


对数据库进行:分库分表、主从架构、读写分离。


如何提高系统的并发能力?


使用分布式服务器

部署多台服务器,做负载均衡

数据库分库分表、读写分离

引入业务需要的中间件


关于分布式事务


参考资料

https://blog.51cto.com/u_15499328/5159840?b=totalstatistic

2PC 二阶段提交

二阶段提交是一种强一致设计,2PC引入一个协调者来管理各个参与者的提交和回滚,二阶段分别是指准备和提交两个阶段。

它是同步阻塞的,而且同步阻塞长时间会导致资源锁的问题,总体而言效率低,并且存在单点故障,在极端条件下存在数据不一致问题。

2PC适应于数据库层面分布式事务应用场景。

3PC 三阶段提交

参与者也引入超时机制,并且新增了一个阶段使得参与者利用这一阶段统一各自的状态

3PC:准备阶段、预提交阶段、提交阶段。多引入一个阶段也会多一些交互,因此 性能会差一些。引入参与者超时机制。

2PC、3PC都是数据库层面的。

TCC(Try - Confirm - Cancel)

2PC 和 3PC 都是数据库层面的、而TCC是业务层面的分布式事务。

Try:预留、资源的预留和锁定

Confirm:确认操作,真正的执行

Cancel:撤销操作,把预留阶段的操作取消掉

其实思想上和2PC都差不多,都是先试探性执行,如果都可以那就真正执行,如果不行就回滚。

TCC对业务侵入较大,与业务紧耦合,需根据特定的业务场景来设计,

撤销和确认操作可能需要重试,要保证接口的幂等性。

TCC需要自定义,可实现跨数据库、跨不同业务系统来实现事务。

本地消息表

利用各个系统的本地事务来实现分布式事务。

有一张存放本地消息表,一般都放在数据库中,然后在执行业务的时候,将业务的执行和消息放入消息表放在同一个事务中,这样就能保证消息放入本地表中业务肯定是执行成功的。

如果调用失败,会有 定时任务定时读取本地消息表,实现最终一致性。

消息事务

RocketMQ 支持消息事务

第一步通过发送半消息,这个消息对于消费者来说不可见,然后发送成功后再执行本地事务。

再根据本地事务向broker发送Commit还是RollBack命令

并且RocketMq会提供反查事务状态接口,

RocketMq也是通过最终一致性来实现的。

最大努力通知

最大努力通知其实表示就是柔性事务的思想:我已经尽最大努力想达成事务的最终一致性。适用于对时间不敏感的业务,如短信通知等。


秒杀系统如何设计


秒杀服务子系统

就算秒杀系统挂了,不影响其他服务,【服务降价】

页面静态化

活动页面是流量第一入口,活动页面大都是固定的:商品名称、描述、图片等。为了减少不必要的服务端请求,页面会做静态化处理,用户常规浏览SKU的时候不会请求服务端。

静态化CND,内容分发网络。

前端处理

前端加一个定时器:比如5s之内只能发送一次服务端请求,然后秒杀按钮置灰。等限制时间过了又可以继续点击。

数据库读多写少

大部分查询走 Redis

缓存问题 Redis集群

通常情况下,我们需要在Redis中存商品信息,里面包含:商品编码、商品名称、商品属性、商品库存等信息。

优先查询缓存中数据是否存在,不存在再查询数据库。【缓存预热】

不存在的商品直接缓存为空,下次来查询直接用,缓存穿透问题。

数据库库存扣减问题

可以通过乐观锁解决

Redis lua 脚本扣减库存

先判断商品是否存在、如果不存在则直接返回

获取sku库存信息

如果库存大于0,则进行库存扣减

如果库存等于0,则直接返回表示库存不足

mq异步处理

消息丢失问题:本地记录消息表,本地记录成功再发送mq队列,有失败的消息通过job机制

延迟消息队列:订单超时取消。

限流

基于Nginx限流、基于Redis限流

基于用户限流、基于IP限流。

加验证码限流:三方验证码-滑块验证码。

基于业务限流:会员体系,限制条件。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
Java 数据库
在Java中使用Seata框架实现分布式事务的详细步骤
通过以上步骤,利用 Seata 框架可以实现较为简单的分布式事务处理。在实际应用中,还需要根据具体业务需求进行更详细的配置和处理。同时,要注意处理各种异常情况,以确保分布式事务的正确执行。
|
2月前
|
消息中间件 Java Kafka
在Java中实现分布式事务的常用框架和方法
总之,选择合适的分布式事务框架和方法需要综合考虑业务需求、性能、复杂度等因素。不同的框架和方法都有其特点和适用场景,需要根据具体情况进行评估和选择。同时,随着技术的不断发展,分布式事务的解决方案也在不断更新和完善,以更好地满足业务的需求。你还可以进一步深入研究和了解这些框架和方法,以便在实际应用中更好地实现分布式事务管理。
|
2月前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
87 2
|
11天前
|
消息中间件 NoSQL Java
面试官必问的分布式锁面试题,你答得上来吗?
本文介绍了分布式锁的概念、实现方式及其在项目中的应用。首先通过黄金圈法则分析了分布式锁的“为什么”、“怎么做”和“做什么”。接着详细讲解了使用 Redisson 和 SpringBoot + Lettuce 实现分布式锁的具体方法,包括代码示例和锁续期机制。最后解释了 Lua 脚本的作用及其在 Redis 中的应用,强调了 Lua 保证操作原子性的重要性。文中还提及了 Redis 命令组合执行时的非原子性问题,并提供了 Lua 脚本实现分布式锁的示例。 如果你对分布式锁感兴趣或有相关需求,欢迎关注+点赞,必回关!
34 2
|
2月前
|
Java 程序员
Java社招面试题:& 和 && 的区别,HR的套路险些让我翻车!
小米,29岁程序员,分享了一次面试经历,详细解析了Java中&和&&的区别及应用场景,展示了扎实的基础知识和良好的应变能力,最终成功获得Offer。
83 14
|
2月前
|
存储 缓存 算法
面试官:单核 CPU 支持 Java 多线程吗?为什么?被问懵了!
本文介绍了多线程环境下的几个关键概念,包括时间片、超线程、上下文切换及其影响因素,以及线程调度的两种方式——抢占式调度和协同式调度。文章还讨论了减少上下文切换次数以提高多线程程序效率的方法,如无锁并发编程、使用CAS算法等,并提出了合理的线程数量配置策略,以平衡CPU利用率和线程切换开销。
面试官:单核 CPU 支持 Java 多线程吗?为什么?被问懵了!
|
2月前
|
存储 算法 Java
大厂面试高频:什么是自旋锁?Java 实现自旋锁的原理?
本文详解自旋锁的概念、优缺点、使用场景及Java实现。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:什么是自旋锁?Java 实现自旋锁的原理?
|
2月前
|
存储 缓存 Oracle
Java I/O流面试之道
NIO的出现在于提高IO的速度,它相比传统的输入/输出流速度更快。NIO通过管道Channel和缓冲器Buffer来处理数据,可以把管道当成一个矿藏,缓冲器就是矿藏里的卡车。程序通过管道里的缓冲器进行数据交互,而不直接处理数据。程序要么从缓冲器获取数据,要么输入数据到缓冲器。
Java I/O流面试之道
|
2月前
|
Java 编译器 程序员
Java面试高频题:用最优解法算出2乘以8!
本文探讨了面试中一个看似简单的数学问题——如何高效计算2×8。从直接使用乘法、位运算优化、编译器优化、加法实现到大整数场景下的处理,全面解析了不同方法的原理和适用场景,帮助读者深入理解计算效率优化的重要性。
37 6
|
2月前
|
存储 缓存 Java
大厂面试必看!Java基本数据类型和包装类的那些坑
本文介绍了Java中的基本数据类型和包装类,包括整数类型、浮点数类型、字符类型和布尔类型。详细讲解了每种类型的特性和应用场景,并探讨了包装类的引入原因、装箱与拆箱机制以及缓存机制。最后总结了面试中常见的相关考点,帮助读者更好地理解和应对面试中的问题。
76 4