软件求生_个人页

2024年06月

• 06.26 09:51:37
  发表了文章 2024-06-26 09:51:37

  【线上】如何解决积压消费？

  小米，技术分享达人，讲解如何解决分布式系统中消息积压问题。三个步骤包括：1) 修复并扩容consumer以增强消费能力；2) 写程序将Topic消息均匀分发到临时Topic；3) 启动多台consumer并行消费不同临时Topic。优化涉及修复bug、批量与并行消费、缓存优化，以及使用负载均衡和自动化工具确保高可用性。
• 06.25 10:11:06
  发表了文章 2024-06-25 10:11:06

  避免消息积压的终极指南：四个关键技巧

  本文作者小米分享了避免消息积压的四个策略：1) 提高消费并行度，可通过增加消费者实例和利用分区机制；2) 批量消费，利用消息中间件的批量API或自定义批量处理逻辑；3) 减少组件IO交互次数，如使用本地缓存和合并IO操作；4) 优先级消费，设置消息优先级并使用优先级队列。通过这些方法，可以优化消息处理效率，防止消息积压，确保关键业务的顺利进行。
• 06.24 14:18:40
  发表了文章 2024-06-24 14:18:40

  如何打造高可用消息队列？一文读懂关键技术

  本文由程序员小米分享如何设计高性能、高可用的消息队列。内容涵盖一致性（生产者确认、消费者幂等性、Broker同步）、可用性（数据不丢不重、持久化策略）、分区容错（选举机制、多副本同步）、海量数据处理（消息积压、Topic性能优化）及性能优化（时间轮、零拷贝、IO多路复用、顺序读写、压缩批处理）等方面，旨在确保分布式系统中消息的可靠性、一致性和高性能。
• 06.22 15:38:44
  发表了文章 2024-06-22 15:38:44

  高性能、高可靠性！Kafka的技术优势与应用场景全解析

  **Kafka** 是一款高吞吐、高性能的消息系统，擅长日志收集、消息传递和用户活动跟踪。其优点包括：零拷贝技术提高传输效率，顺序读写优化磁盘性能，持久化保障数据安全，分布式架构支持扩展，以及客户端状态维护确保可靠性。在实际应用中，Kafka常用于日志聚合、解耦生产者与消费者，以及实时用户行为分析。
• 06.21 09:42:16
  发表了文章 2024-06-21 09:42:16

  高效处理大数据：Kafka的13个核心概念详解

  大家好，我是小米！今天我将为大家深入解析Kafka的核心概念，包括消息、批次、主题、分区、副本、生产者、消费者、消费组等内容。通过这篇文章，你将全面了解Kafka的工作机制和应用场景，为你的大数据处理提供有力支持。准备好了吗？让我们开始吧！
• 06.20 10:50:24
  发表了文章 2024-06-20 10:50:24

  一文读懂Kafka API：Producer、Consumer和Streams全解析

  大家好，今天我们将深入探讨Kafka的三大核心API。通过这篇文章，你将了解如何使用Producer API发布记录流，利用Consumer API订阅和处理数据，以及通过Streams API实现复杂的流处理。一起开启Kafka的探索之旅吧！
• 06.19 09:55:26
  发表了文章 2024-06-19 09:55:26

  避免Tomcat调试信息泄露的最佳实践

  小米分享了团队解决网站敏感信息泄露问题的经历。在处理运行时错误时，Tomcat显示的调试信息可能泄露。尝试过使用Spring Boot的`ErrorAttributes`接口和修改Tomcat默认错误页面均未成功。最终，他们通过自定义错误页面并配置`application.yml`来隐藏敏感信息，成功解决了问题。这个方法推荐给其他开发者作为避免调试信息泄露的安全实践。

  
• 06.18 10:41:32
  发布了视频 2024-06-18 10:41:32

  【建议收藏】高并发下的分布式事务：如何选择最优方案？

  【建议收藏】高并发下的分布式事务：如何选择最优方案？

  
• 06.18 10:08:34
  发表了文章 2024-06-18 10:08:34

  揭秘Kafka：大数据和流计算领域的高可用利器

  **Kafka是分布式流处理平台，以高效、可伸缩和消息持久化著称。其高可用性通过分区和副本机制实现：每个分区有Leader和Follower副本，Leader处理请求，Follower同步数据。当Leader故障时，ZooKeeper协助选举新Leader，确保服务连续。Kafka适用于大数据处理、流计算和日志分析，但异步处理可能导致延迟，不适合极高实时性场景，并且管理和配置复杂。**
• 06.17 10:42:57
  发表了文章 2024-06-17 10:42:57

  RocketMQ：揭秘电商巨头背后的消息队列秘密

  **RocketMQ概览：**高性能分布式消息队列，适用于有序消息、事务处理、流计算、消息推送、日志处理及Binlog分发。在双11等高流量场景下证明了其性能、稳定性和低延迟。Java开发，利于扩展，性能超RabbitMQ，支持死信队列，但可能有集成兼容性问题。适合Java开发者，为电商等场景优化，每秒处理大量消息。

  
• 06.16 13:05:58
  发表了文章 2024-06-16 13:05:58

  RabbitMQ揭秘：轻量级消息队列的优缺点全解析

  **RabbitMQ简介** RabbitMQ是源自电信行业的消息中间件，支持AMQP协议，提供轻量、快速且易于部署的解决方案。它拥有灵活的路由配置，广泛的语言支持，适用于异步处理、负载均衡、日志收集和微服务通信等场景。然而，当面临大量消息堆积或高吞吐量需求时，性能可能会下降，并且扩展和开发成本相对较高。
• 06.14 10:03:25
  发表了文章 2024-06-14 10:03:25

  【建议收藏】技术人必看：如何选择适合你公司的消息队列工具

  本文介绍了消息队列在系统架构中的三大作用：异步处理、削峰填谷和解耦，并通过实例详细阐述了每种作用的优势。文中推荐了三款消息队列工具：RabbitMQ适合中小型公司，因其开源和社区活跃；RocketMQ适合大型公司，因其强大的二次开发能力；而在大数据领域，Kafka是实时计算和日志采集的标准选择。作者小米鼓励读者根据自身需求选择合适的消息队列，并邀请大家探讨技术话题。
• 06.13 09:50:36
  发表了文章 2024-06-13 09:50:36

  大厂面试必备：如何轻松实现分布式Session管理？

  这篇文章介绍三种分布式Session的实现方案：基于JWT的Token、基于Tomcat的Redis和基于Spring的Redis。JWT方案通过生成Token存储用户信息，实现无状态、可扩展的会话管理，但可能增加请求负载且数据安全性较低。Tomcat与Redis结合，通过配置Tomcat和Redis，实现Session集中管理和高性能存储，但配置相对复杂。Spring整合Redis适用于SpringBoot和SpringCloud项目，集成方便，扩展性强，但同样依赖外部Redis服务。每种方法有其优缺点，适用场景不同。作者小米是一个技术爱好者，欢迎关注其微信公众号“软件求生”获取更多技术内容
• 06.12 09:43:09
  发表了文章 2024-06-12 09:43:09

  【建议收藏】高并发下的分布式事务：如何选择最优方案？

  本文介绍了分布式事务的三种常见解决方案。在分布式系统中，事务处理变得复杂，需确保ACID特性。TCC（Try-Confirm-Cancel）方案适用于严格资金要求的场景，如银行转账，通过预留、确认和取消步骤确保一致性。可靠消息最终一致性方案适合一致性要求较低的场景，如电商积分处理，通过消息中间件实现最终一致性。最大努力通知方案则用于允许不一致的场景，如数据分析，通过重复通知尽可能达成一致性。选择合适的方案取决于具体应用场景。
• 06.11 13:59:35
  发表了文章 2024-06-11 13:59:35

  轻量级分布式事务实现：掌握最大努力通知方案

  本文介绍了分布式事务的重要概念，特别是最大努力通知方案。最大努力通知是一种基于消息通知的分布式事务处理方式，通过异步通知确保最终一致性。方案包括事务消息发送、消息中间件持久化和最大努力通知三个步骤。虽然它实现简单、性能高且灵活，但可能无法保证强一致性，且存在重试和人工干预的成本。文中还提供了一个电商订单与库存系统同步的案例，并分析了该方案的优缺点。
• 06.09 11:40:52
  发表了文章 2024-06-09 11:40:52

  分布式事务大揭秘：使用MQ实现最终一致性

  本文由小米分享，介绍分布式事务中的MQ最终一致性实现，以RocketMQ为例。RocketMQ的事务消息机制包括准备消息、本地事务执行、确认/回滚消息及事务状态检查四个步骤。这种机制通过消息队列协调多系统操作，确保数据最终一致。MQ最终一致性具有系统解耦、提高可用性和灵活事务管理等优点，广泛应用于分布式系统中。文章还讨论了RocketMQ的事务消息处理流程和失败情况下的处理策略，帮助读者理解如何在实际应用中解决分布式事务问题。
• 06.07 09:54:32
  发表了文章 2024-06-07 09:54:32

  简单高效！本地消息表助你轻松实现分布式事务

  本文由小米分享，介绍如何使用本地消息表解决分布式事务问题。分布式事务在微服务架构中变得复杂，本地消息表提供了一种简单高效的方法。它通过在同一事务中处理业务操作和消息记录，然后异步发送消息，确保数据一致性。文章详细阐述了本地消息表的原理、实现步骤、优势及不足，强调了其实现的简单性、高性能和高可靠性，但也指出其潜在的开发复杂度和延迟性问题。
• 06.06 10:10:01
  发布了视频 2024-06-06 10:10:01

  主备切换大揭秘：保证系统永不停机的秘密

  主备切换大揭秘：保证系统永不停机的秘密

  
• 06.06 09:56:19
  发表了文章 2024-06-06 09:56:19

  读《淘宝技术这10年》：从进化中感受技术的美与挑战

  小米，一位29岁的程序员，分享了阅读《淘宝技术这10年》的感悟。书中学到，好的架构和功能是通过不断实践和进化而来的，而非一开始就能设计完美。强调了回归测试、数据存储与访问优化、慎用新技术、用户体验和成本控制的重要性。同时，提倡借鉴优秀案例，追求高性能、高可用和低成本，并鼓励主动解决问题和担当。书中理念对架构设计和开发工作提供了有价值的启示。
• 06.05 10:08:06
  发布了视频 2024-06-05 10:08:06

  探索分布式系统演进之路：从负载均衡到微服务架构

  探索分布式系统演进之路：从负载均衡到微服务架构

  
• 06.05 09:49:22
  发表了文章 2024-06-05 09:49:22

  长事务管理不再难：Saga模式全面解析

  本文介绍了分布式事务中的Saga模式，它用于解决微服务架构下的事务管理问题。Saga通过一系列本地事务和补偿操作确保最终一致性，分为编排和协同两种模式。文章重点讲解了编排模式，其中 Saga 协调者负责事务的执行和失败后的补偿。Saga 模式适用于业务流程明确且需要严格补偿的场景，能有效管理长事务，但实现上可能增加复杂性，并存在一致性延迟。文章还讨论了其优缺点和适用场景，强调了在面对分布式事务挑战时，Saga 模式的价值和潜力。
• 06.04 10:13:36
  发布了视频 2024-06-04 10:13:36

  Redis经典问题：数据并发竞争

  Redis经典问题：数据并发竞争

  
• 06.04 09:58:39
  发表了文章 2024-06-04 09:58:39

  如何用TCC方案轻松实现分布式事务一致性

  TCC（Try-Confirm-Cancel）是一种分布式事务解决方案，将事务拆分为尝试、确认和取消三步，确保在分布式系统中实现操作的原子性。它旨在处理分布式环境中的数据一致性问题，通过预检查和资源预留来降低失败风险。TCC方案具有高可靠性和灵活性，但也增加了系统复杂性并可能导致性能影响。它需要为每个服务实现Try、Confirm和Cancel接口，并在回滚时确保资源正确释放。虽然有挑战，TCC在复杂的分布式系统中仍被广泛应用。
• 06.03 10:51:56
  发布了视频 2024-06-03 10:51:56

  Redis经典问题：数据不一致

  Redis经典问题：数据不一致

  
• 06.03 10:33:25
  发表了文章 2024-06-03 10:33:25

  负载均衡与容错性：集群模式在分布式系统中的应用

  本文由小米分享，解释了分布式系统中的集群模式。集群模式是通过组合多个服务器节点，共同提供服务，实现高可用性、负载均衡和扩展性。文章介绍了主控节点的角色及其高可用性策略，如主备模式和选举机制，并以Zookeeper为例详细阐述了其工作机制。集群模式的优势在于高可用性、负载均衡、扩展性和数据一致性，但也面临节点通信、数据一致性、故障检测和管理等挑战。最后，作者鼓励读者讨论和交流相关技术问题。
• 06.01 14:05:21
  发表了文章 2024-06-01 14:05:21

  高可用数据库架构：互备（Multi-Master）技术详解

  本文介绍了分布式系统中的互备（Multi-Master）机制，特别是在高可用数据库系统中的应用。互备机制超越了传统的主从复制，允许每个Master节点同时进行读写操作并互相同步数据，以提高可用性和负载均衡。文章探讨了主从复制与互备模式的区别，以及互备模式的数据同步和冲突解决策略。还以MySQL的双主复制和MongoDB的副本集为例，展示了MM模式在数据库高可用性中的实践。最后，强调了互备在未来分布式系统中的重要性。

2024年05月

• 05.31 10:10:33
  发布了视频 2024-05-31 10:10:33

  Redis经典问题：缓存穿透

  Redis经典问题：缓存穿透

  
• 05.31 09:45:04
  发表了文章 2024-05-31 09:45:04

  主备切换大揭秘：保证系统永不停机的秘密

  本文由小米分享，介绍了分布式系统中的主备切换机制，旨在确保高可用性和可靠性。内容涵盖热备和冷备的概念，以及MySQL和Redis的主从复制原理和配置方法。通过主从复制，当主服务器故障时，备服务器能接管工作，维持服务连续性。文章还讨论了主备切换的挑战，如数据一致性与切换延迟，并提出了相应的解决方案。最后，作者鼓励读者就该主题提出疑问和建议。
• 05.30 11:25:15
  发布了视频 2024-05-30 11:25:15

  Redis经典问题：缓存雪崩

  Redis经典问题：缓存雪崩

  
• 05.30 09:43:25
  发表了文章 2024-05-30 09:43:25

  揭秘分布式系统：日志复制如何保障数据一致性？

  本文介绍了分布式系统中的日志复制技术，这是保证高可用性和数据一致性的重要手段。以Raft算法为例，文章阐述了Leader如何将客户端请求复制到Follower的日志中：Leader首先记录请求，然后通过RPC发送给Follower，等待ACK确认，必要时进行重试。当多数Follower确认后，Leader提交日志并通知Follower。文中还提到了网络分区和日志一致性等挑战，以及应对策略，如超时机制、领导选举、日志匹配和压缩。最后，强调了日志复制在面对故障时确保系统一致性和可用性的作用。
• 05.29 09:54:35
  发布了视频 2024-05-29 09:54:35

  揭秘产品经理成功的秘密：最重要的是什么？

  揭秘产品经理成功的秘密：最重要的是什么？

  
• 05.29 09:34:21
  发表了文章 2024-05-29 09:34:21

  打造高可用系统：深入了解心跳检测机制

  本文介绍了分布式系统中**心跳检测**的重要机制，用于监测系统节点的健康状态和通信畅通。心跳检测通过定期发送信号，若节点在预定期限内未响应则视为可能失效。处理机制包括重试、报警和自动修复。文章还提到了**周期检测**和**累计失效检测**两种策略，并给出Java代码示例展示心跳检测实现。此外，列举了心跳检测在分布式数据库、微服务和物联网等场景的应用，以及优化策略如动态调整心跳频率和优化超时机制。最后，强调了心跳检测对系统稳定性和高可用性的关键作用。
• 05.28 10:06:35
  发布了视频 2024-05-28 10:06:35

  揭秘阿里面试题：如何精准配置垃圾收集器提升性能？

  揭秘阿里面试题：如何精准配置垃圾收集器提升性能？

  
• 05.28 09:52:13
  发表了文章 2024-05-28 09:52:13

  Redis与数据库同步指南：订阅Binlog实现数据一致性

  本文由开发者小米分享，探讨分布式系统中的一致性问题，尤其是数据库和Redis一致性。文章介绍了全量缓存策略的优势，如高效读取和稳定性，但也指出其一致性挑战。为解决此问题，提出了通过订阅数据库的Binlog实现数据同步的方法，详细解释了工作原理和步骤，并分析了优缺点。此外，还提到了异步校准方案作为补充，以进一步保证数据一致性。最后，提醒在实际线上环境中需注意日志记录、逐步优化和监控报警。
• 05.27 10:55:58
  发布了视频 2024-05-27 10:55:58

  拿下阿里巴巴面试：10分钟了解JVM类加载过程？

  拿下阿里巴巴面试：10分钟了解JVM类加载过程？

  
• 05.27 10:35:07
  发表了文章 2024-05-27 10:35:07

  分布式一致性必备：一文读懂Raft算法

  Raft算法是一种用于分布式系统中复制日志一致性管理的算法。它通过选举领导者来协调日志复制，确保所有节点数据一致。算法包括心跳机制、选举过程、日志复制和一致性保证。当领导者失效时，节点会重新选举，保证高可用性。Raft易于理解和实现，提供强一致性，常用于分布式数据库和协调服务。作者小米分享了相关知识，鼓励对分布式系统感兴趣的读者进一步探索。
• 05.25 14:23:34
  发表了文章 2024-05-25 14:23:34

  甲方怒喷半小时：一次项目上线失败的深刻教训

  小米分享了一次项目上线失败的经历，起因是运营提出一个看似简单的白名单功能。问题包括：没有需求原型导致理解偏差，新成员对项目不熟悉，测试流程不全面，以及人员变动大。解决方案涉及需求确认会、原型图设计、交接制度、团队培训和全流程测试等。这次失败提供了关于需求分析、项目管理及团队协作的教训。
• 05.24 10:25:34
  发布了视频 2024-05-24 10:25:34

  拿下阿里面试：揭秘JVM对象引用的奥秘！

  拿下阿里面试：揭秘JVM对象引用的奥秘！

  
• 05.24 10:11:18
  发表了文章 2024-05-24 10:11:18

  破解Paxos活性难题：分布式一致性的终极指南

  Paxos算法是解决分布式系统一致性问题的关键，由Leslie Lamport提出。它涉及提议者、接受者和学习者三个角色，通过准备和接受两个阶段达成共识。然而，确保算法的活性，即在面对网络分区、竞争冲突和节点故障时仍能及时决策，是一个挑战。解决方法包括领导者选举、优化提案编号管理、使用超时机制和Fast Paxos等。实际案例中，通过领导者选举和超时机制，可以提高Paxos在应对网络延迟和冲突时的活性。
• 05.23 10:44:37
  发布了视频 2024-05-23 10:44:37

  揭秘阿里巴巴面试：JVM创建对象，你了解几个步骤？

  揭秘阿里巴巴面试：JVM创建对象，你了解几个步骤？

  
• 05.23 10:19:14
  发表了文章 2024-05-23 10:19:14

  深入解析：分布式一致性的终极解决方案——XA协议

  本文介绍了分布式系统中的两种一致性协议：2PC（两阶段提交）和3PC（三阶段提交）。2PC分为准备和提交两个阶段，确保所有参与者在提交前达成一致。3PC则在2PC基础上增加了一个CanCommit阶段，提高容错性和可用性，参与者在超时后可自行中断事务。选择协议需依据业务需求和系统特点，高一致性要求可选3PC，注重性能则选2PC。
• 05.22 11:09:13
  发布了视频 2024-05-22 11:09:13

  阿里巴巴面试官最爱问的问题：堆内存分配策略解密！

  阿里巴巴面试官最爱问的问题：堆内存分配策略解密！

  
• 05.22 09:51:34
  发表了文章 2024-05-22 09:51:34

  从数据同步到异步通知：用户分群功能全揭秘

  小米分享了开发用户分群功能的经验。面对数据同步问题，他们选择新建用户分群服务而非多数据源配置，以遵循微服务原则。为解决大规模通知发送导致的卡死，采用了异步处理，包括任务创建、数据查询和通知发送。在用户标签查询方面，通过精确存储和查询方法解决了标签重叠的误差。总结经验：合理拆分微服务，利用异步处理提升性能，确保精确查询。关注“软件求生”获取更多内容。
• 05.21 09:44:58
  发表了文章 2024-05-21 09:44:58

  从ACID到BASE：分布式系统CAP理论深度解析

  **CAP理论**是分布式系统设计的基础，指出一致性（Consistency）、可用性（Availability）和分区容忍性（Partition Tolerance）无法兼得。一致性确保所有节点数据相同，如ACID原则；可用性保证系统始终响应用户请求，常见优化包括BASE理论和多级缓存；分区容忍性则确保网络分区时仍能服务。设计时需根据业务需求权衡这三者。
• 05.20 11:10:20
  发表了文章 2024-05-20 11:10:20

  架构师养成手册：性能指数

  本文介绍了架构师关注的性能指标，包括QPS（每秒查询率）、TPS（每秒事务处理数）、RT（响应时间）、UV（独立访客数）、并发数和线程数。QPS和TPS衡量系统处理能力，RT影响用户体验，UV评估网站流量，高并发和线程管理关乎系统稳定性和效率。理解并优化这些指标有助于构建高性能系统。
• 05.18 17:47:41
  发表了文章 2024-05-18 17:47:41

  架构师养成手册：架构师职责

  小米是一名热情的技术爱好者和架构师，他探讨了架构师的角色和职责。主要涉及六个方面：顶层设计，需与企业战略目标对齐，制定架构原则；规划可适应未来变化的企业架构，分析需求并关注技术趋势；全局视角制定可落地的架构方案，兼顾全局与局部优化；技术选型与难题解决，选择合适技术并解决实际问题；关注方案与代码的广度与深度，确保宏观设计与微观实现的统一；同时，架构师还需具备管理能力，包括团队协作、资源调配和风险管理。
• 05.17 09:48:23
  发表了文章 2024-05-17 09:48:23

  架构师养成手册：必知名词

  本文介绍了五个对架构师至关重要的技术概念：1) 缓冲(Buffer)用于临时存储数据，解决I/O速度不匹配问题；2) 缓存(Cache)是高速存储技术，提高数据访问速度；3) 复用(Pool)如连接池，减少资源浪费，提高效率；4) 分治(Sharding)是大规模数据的分布式处理，实现数据并行处理；5) 粘性(Sticky)会话，保持用户数据在特定服务器，提升体验和稳定性。架构师需在性能、成本等因素间做出权衡(Trade-off)。
• 05.16 09:47:22
  发表了文章 2024-05-16 09:47:22

  探索分布式系统演进之路：从负载均衡到微服务架构

  小米分享了分布式系统的发展，从早期的负载均衡（入口级、网关和客户端）到微服务架构的演进。微服务实现服务解耦，增强系统弹性，但带来了新的挑战。为优化数据库性能，实施了主备读写分离、全文搜索引擎、缓存集群等措施。通过微服务治理，如服务注册、动态配置、灰度发布等，提升了系统稳定性和可靠性。未来将继续优化分布式系统，提供更好的服务体验。关注公众号“软件求生”了解更多。
• 05.15 09:44:19
  发表了文章 2024-05-15 09:44:19

  Redis经典问题：BigKey问题

  BigKey问题常困扰着Redis用户，其影响不容忽视。本文将深入探讨BigKey问题的本质及解决方案，帮助你优化Redis性能，提升系统稳定性。
• 05.14 09:47:45
  发表了文章 2024-05-14 09:47:45

  Redis经典问题：热点key问题

  本文介绍了Redis中的热点key问题及其对系统稳定性的影响。作者提出了多种提前发现热点key的方法，包括历史数据分析、业务分析、实时监控、用户行为分析和机器学习预测。同时，文章列举了应对热点key的解决方案，如分布式存储、主从复制、前置缓存、定时刷新、限制逃逸流量和兜底逻辑。通过这些策略，可以有效管理和预防热点key带来的挑战，保证系统性能和可用性。