大数据文摘
大数据文摘_个人页
大数据文摘
文章
158
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2024-10-30
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法，详细讲解了一主两从的架构设计，以及三种常见的复制模式（全同步、异步、半同步）的特点与适用场景。此外，文章还提供了Spring Boot环境下配置主从复制的具体代码示例，包括数据源配置、上下文切换、路由实现及切面编程等内容，帮助读者理解如何在实际项目中实现数据库的读写分离。
-
发表了文章 2024-10-24
Python中的Socket魔法：如何利用socket模块构建强大的网络通信
本文介绍了Python的`socket`模块，讲解了其基本概念、语法和使用方法。通过简单的TCP服务器和客户端示例，展示了如何创建、绑定、监听、接受连接及发送/接收数据。进一步探讨了多用户聊天室的实现，并介绍了非阻塞IO和多路复用技术以提高并发处理能力。最后，讨论了`socket`模块在现代网络编程中的应用及其与其他通信方式的关系。
-
发表了文章 2024-09-13
Python Requests 库中的重试策略实践
在网络请求中，由于网络波动或服务暂时不可达等原因，请求可能失败。为增强客户端健壮性，自动重试机制变得尤为重要。本文介绍如何在 Python 的 `requests` 库中实现请求自动重试，通过 `urllib3` 的 `Retry` 类配置重试策略，并提供了一个具体示例，展示了如何设置重试次数、状态码集合及异常类型等参数，从而提高系统的可靠性和容错能力。
-
发表了文章 2024-09-11
Spring Cloud全解析：熔断之Hystrix简介
Hystrix 是由 Netflix 开源的延迟和容错库，用于提高分布式系统的弹性。它通过断路器模式、资源隔离、服务降级及限流等机制防止服务雪崩。Hystrix 基于命令模式，通过 `HystrixCommand` 封装对外部依赖的调用逻辑。断路器能在依赖服务故障时快速返回备选响应，避免长时间等待。此外，Hystrix 还提供了监控功能，能够实时监控运行指标和配置变化。依赖管理方面，可通过 `@EnableHystrix` 启用 Hystrix 支持，并配置全局或局部的降级策略。结合 Feign 可实现客户端的服务降级。
-
发表了文章 2024-09-06
Mybatis的Cursor如何避免OOM异常
在 Mybatis 中，`Cursor` 是一个特殊对象，用于避免大量数据查询时导致的 OOM 错误。它通过懒加载和迭代器实现内存友好型数据处理，尤其适用于大规模数据查询。使用时只需将 Mapper 文件中的方法返回值设为 `Cursor<T>`。其原理在于操作原生 `Statement` 并按需获取数据，而非一次性加载所有数据，从而避免内存溢出。
-
发表了文章 2024-09-04
浅析MySQL中的SQL执行过程
本文探讨了MySQL的体系结构、SQL执行流程及SQL执行时间分析方法。首先介绍了MySQL由连接层、SQL层和存储引擎层构成；接着详细描述了SQL从客户端发送到服务器执行的具体流程；最后，通过启用profiling功能，展示了如何分析SQL执行时间，并说明了MySQL 8.0版本后移除查询缓存的原因。
-
发表了文章 2024-09-02
MySQL 延迟从库介绍
本文介绍了MySQL中的延迟从库功能，详细解释了其工作原理及配置方法。延迟从库允许从库在主库执行完数据变更后延迟一段时间再同步，主要用于快速恢复误操作的数据。此外，它还可用于备份、离线查询及数据合规性需求。通过合理配置，可显著提升数据库系统的稳定性和可靠性。
-
发表了文章 2024-08-26
Java中var的使用方法
这篇文章主要介绍了Java中自JDK10起引入的新特性`var`，这是一种局部变量类型推断功能，旨在简化代码书写并提升开发效率。通过示例展示了如何使用`var`定义不同类型的变量，包括基本数据类型及集合类。作者还特别强调了在使用`var`时的一些限制与注意事项，比如无法定义未初始化的变量、不适用于类成员变量以及不可作为方法参数等。最后，文章指出虽然`var`能带来便利，但也可能影响代码的可读性，建议开发者根据实际情况合理使用。
-
发表了文章 2024-08-14
什么是系统可用性？如何提升可用性？
本文探讨了系统可用性的概念、计算方法及其重要性。可用性指系统能在预定时间内正常运行的比例，计算公式为：(运行时间)/(运行时间+停机时间)。文章列举了不同级别的可用性对应的停机时间，并介绍了提升系统可用性的多种策略，包括冗余设计、故障检测与自动恢复、数据备份与恢复、负载均衡、容错设计、定期维护与更新及使用高可用性云服务和网络优化。这些措施有助于构建更加稳定可靠的系统。
-
发表了文章 2024-08-12
MySQL意向锁是什么？
意向锁用于协调InnoDB存储引擎中的行锁与表锁，避免全表扫描判断行锁的存在，提升性能。主要包括意向共享锁(IS)与意向排他锁(IX)，分别在请求行级共享(S)锁与排他(X)锁前加于表级。意向锁自动管理，无需用户干预。例如，事务A锁定一行时先加IS锁，B事务可加IX锁但不能直接加表级X锁。意向锁与行级S/X锁兼容，仅与表级S/X锁冲突。这确保了锁机制高效且减少冲突。
-
发表了文章 2024-08-05
MybatisPlus怎么拓展自定义BaseMapper
通过扩展Mybatis-Plus的`BaseMapper`，可以自定义SQL模板以满足特定业务需求。例如，当遇到唯一键冲突而不希望抛出异常时，可使用`INSERT IGNORE`语法。首先，创建`InsertIgnore`类继承`AbstractMethod`并定义`insertIgnore`方法及其SQL模板。接着，在自定义的`UltraBaseMapper`接口中声明`insertIgnore`方法，并让业务Mapper继承此接口。最后，通过`UltraSqlInjector`类将`InsertIgnore`方法注册到Mybatis-Plus插件中。
-
发表了文章 2024-07-30
SpringBoot使用接口下载图片的写法
在Spring Boot中实现图片下载功能涉及定义一个REST接口来发送图片文件。首先，创建`ImageController`类，并在其中定义`downloadImage`方法，该方法使用`@GetMapping`注解来处理HTTP GET请求。方法内部，通过`Files.readAllBytes`读取图片文件到字节数组，再将该数组封装成`ByteArrayResource`。接着，设置`HttpHeaders`以指定文件名为`image.jpg`并配置为附件下载。
-
发表了文章 2024-07-28
JAVA规则引擎工具有哪些？
本文对比分析了六种Java规则引擎：Drools、IBM ODM (JRules)、Easy Rules、JBPM、OpenL Tablets以及Apache Camel结合规则组件的应用。Drools是一款功能全面的业务规则管理系统，支持DRL文件定义规则、高效的规则匹配算法、复杂的规则流及决策表，并易于与Java应用集成。IBM ODM (原JRules)提供了强大的规则管理功能，包括Web界面和Eclipse插件定义管理规则、直观的决策表和决策树、REST和Java API集成选项及优化的性能。
-
发表了文章 2024-07-26
战斧指纹浏览器与IPXProxy海外代理IP的协同使用策略
战斧指纹浏览器是一家专注跨境用户的指纹浏览器，支持IP隔离技术，能够解决账号关联的问题。当然，用户在使用战斧浏览器的时候也可以搭配自有设备，其中IPXProxy的海外代理IP是不错的选择。那战斧指纹浏览器与IPXProxy海外代理IP如何搭配使用？
-
发表了文章 2024-07-25
Python中的全局变量和局部变量是什么？
在 Python 中, 全局变量与局部变量在作用域及访问权限上有着明显区别。全局变量在整个程序范围内均可访问, 如定义 `global_var` 并在函数 `func_using_global()` 内使用。局部变量仅在其定义的函数内有效, 如 `func_creating_local()` 中的 `local_var`, 在函数外访问会引发 `NameError`。
-
发表了文章 2024-07-23
Spring Boot中怎么使用BPMN
在Spring Boot中集成BPMN工作流，如Camunda，能实现业务流程自动化。以请假流程为例，步骤包括：创建Spring Boot项目并添加Camunda依赖；使用Camunda Modeler设计请假流程，涵盖提交申请、经理审批、HR记录及流程完成阶段；保存BPMN文件至`src/main/resources`目录，以便Camunda自动部署；实现流程逻辑，如通过REST API启动流程实例，并传递请假请求数据。整个过程展示了BPMN流程从设计到部署的完整周期，使业务流程自动化变得高效且直接。 **注意：**摘要已压缩至240字符内，部分内容被省略。
-
发表了文章 2024-07-21
软件开发中的 DRY、KISS 和 SOLID 原则
**软件开发中的DRY、KISS和SOLID原则概览** - **DRY (Don't Repeat Yourself)**: 避免代码重复，确保每项知识在系统中有唯一表示，减少冗余，提高可维护性。例如，通过封装重复逻辑到函数或类。
-
发表了文章 2024-07-17
MySQL连接池DataSource是什么？
**摘要：** 本文探讨了数据库连接池在高并发Web应用中的重要性，聚焦于DruidDataSource，一个高效的Java数据库连接池组件。DruidDataSource提供连接池管理、SQL监控及性能优化功能。文中通过代码示例展示了如何配置和使用DruidDataSource，包括在Java应用中的直接配置和在Spring Boot中的集成。此外，还提到了使用技巧，如合理设置连接池参数、定期监控调整以及利用Druid的内置监控工具优化性能。
-
发表了文章 2024-07-08
怎么用Python解析HTML轻松搞定网页数据
**Python解析HTML摘要** 本文介绍了使用Python处理HTML的常见需求，如数据提取、网络爬虫和分析，并讨论了三种解析方法。正则表达式适用于简单匹配，但对复杂HTML不理想；BeautifulSoup提供简单API，适合多数情况；lxml结合XPath，适合处理大型复杂文档。示例展示了如何用这些方法提取链接。
-
发表了文章 2024-07-04
怎么减小Docker的镜像体积？
**Docker 镜像优化目标：**提升构建速度、减小镜像大小、增强安全性和效率。**技巧：**1) 选择轻量级基础镜像（如Alpine、Ubuntu Minimal）；2) 使用多阶段构建，分阶段复制文件和执行操作；3) 利用缓存加速构建，避免不必要的重复；4) 合并`RUN`指令减少镜像层数。这些方法能显著优化镜像，提高性能和节省存储空间。
-
发表了文章 2024-06-27
Dubbo怎么配置监控中心
**摘要：** 本文介绍了如何配置Dubbo的简单监控中心。首先，通过添加`<dubbo:monitor protocol="registry" />`到配置文件启用监控。接着，修改`dubbo.properties`设置Zookeeper地址。启动监控中心，服务提供者和消费者需添加`monitorEnabled="true"`以开启监控功能。配置完成后，监控中心的Web界面能展示服务状态和性能指标，助力开发者和运维人员实时监控服务健康。
-
发表了文章 2024-06-12
怎么基于Pytest+Requests+Allure实现接口自动化测试？
该文介绍了一个基于Python的自动化测试框架，主要由pytest、requests和allure构成，采用关键字驱动模式。项目结构分为六层：工具层（api_keyword）封装了如get、post的请求；参数层（params）存储公共参数；用例层（case）包含测试用例；数据驱动层（data_driver）处理数据；数据层（data）提供数据；逻辑层（logic）实现用例逻辑。代码示例展示了如何使用allure装饰器增强测试报告，以及如何使用yaml文件进行数据驱动。
-
发表了文章 2024-06-03
Mybatis mapper动态代理解决方案
该文介绍了Mybatis中使用Mapper接口的方式代替XML配置执行SQL。Mapper接口规范包括：namespace与接口类路径相同，select ID与接口方法名一致，parameterType和方法参数类型匹配，resultType与返回值类型一致。实现过程中，需配置Mapper.xml，编写Mapper.java接口，并在Mybatis-config.xml中设置。测试类中，通过SqlSession的getMapper方法获取接口的动态代理对象，调用方法执行SQL。
-
发表了文章 2024-05-30
什么是时间轮？
时间轮是一种用于任务调度和时间管理的数据结构，尤其适合处理大量定时任务的场景，如网络服务器或实时系统。它由一个圆形数组构成，每个槽代表固定时间间隔，任务根据执行时间添加到相应槽。时间推进时，指针移动并执行到期任务。时间轮具有高效性和简单性，插入和删除操作接近常数时间复杂度。层级时间轮可扩展处理更大时间范围和精度。在Spring Boot中，可以使用Netty的`HashedWheelTimer`实现高效定时任务管理。
-
发表了文章 2024-05-28
@Async异步失效的9种场景
在Spring中，启用@Async异步功能需要在启动类或配置类上使用`@EnableAsync`。若未使用此注解，@Async将无效。另外，内部方法调用（如在一个类的方法中调用另一个被@Async注解的方法）会导致异步功能失效，因为这不涉及Spring的AOP代理。此外，@Async方法必须是public，返回类型为void或Future，不能是static或final，且其所在的类需被@Service等注解以使Spring管理。如果使用@ComponentScan，确保正确扫描包含@Async类的包路径。
-
发表了文章 2024-05-25
Redis宕机了，如何恢复数据
Redis持久化是为了防止服务宕机导致内存中数据丢失。主要有两种策略：RDB（快照）和AOF（仅追加文件）。RDB在指定时间间隔生成数据集快照，保存到磁盘，通过fork子进程实现，避免阻塞主线程，但可能丢失部分数据。AOF记录每次写操作，实时写回磁盘，提供秒级数据丢失保障，可通过不同同步策略平衡性能和安全性。AOF文件可定期重写以优化空间效率。混合使用RDB和AOF能在数据安全性和恢复速度上找到平衡。
-
发表了文章 2024-05-23
SpringBoot接收参数的方式
本文介绍了Java Spring Boot中处理GET请求的多种方式。可以使用方法参数直接接收，或者通过`@RequestParam`注解指定必传参数。此外，可以用实体类接收多个相关参数，但不能同时使用`@RequestParam`。还可以通过`HttpServletRequest`对象获取参数，或利用`@PathVariable`接收路径变量。对于数组和集合参数，需注意使用`@RequestParam`注解。
-
发表了文章 2024-05-21
9个SQL优化技巧
本文总结了SQL查询优化的几个关键策略：1) 避免使用`select *`，只查询需要的字段；2) 检查执行计划，确保查询条件和排序字段使用了索引；3) 避免使用`or`连接，可考虑用`union`替代；4) 减少`in`和`not in`的使用，尤其是大数据量时；5) 避免左模糊查询，以利用索引；6) 使用JOIN代替子查询，提高效率；7) 根据需求选择合适的JOIN类型（如INNER JOIN、LEFT JOIN）；8) 优化`group by`字段，使用索引和覆盖索引；9) 对深分页查询进行优化，如使用子查询、标签记录法。这些策略有助于提升接口性能和数据库效率。
-
发表了文章 2024-05-17
怎样用EasyExcel导出更多代码？
在处理大量数据导出时遇到Java OutOfMemoryError（OOM）。最初使用公司内部工具直接查询全量数据写入Excel，导致OOM。改用阿里EasyExcel后，虽偶发OOM，但问题依旧存在。为解决此问题，采用了分页查询并分批次写入Excel的方法，有效避免了OOM。为简化此过程，封装了一个EasyExcelExport抽象类，包含分批次导出和不分批次导出的方法。使用时需实现getData()和convertSourceData2ExportEntity()方法。通过示例展示了如何利用这个工具类进行分批导出，避免了内存溢出，并减少了重复代码。
-
发表了文章 2023-06-06
使用Spring Batch进行批量处理
在Java后端开发中，批量处理是一个非常常见的需求。例如，我们需要从数据库中读取大量数据，对这些数据进行处理，然后将处理后的结果写回到数据库中。这时候，使用Spring Batch框架可以帮助我们快速地实现批量处理的功能。
-
发表了文章 2023-05-24
不需要策略模式也能避免满屏if/else
可能不少开发同学刚接入代码的时候是这么写的，也可能是想省事，也可能是真的不知道用什么办法解决。但从今天开始，你看完这篇文章，你自己都不会允许自己出现上述情况。
-
发表了文章 2023-05-17
对线面试官：浅聊一下 Java 虚拟机栈？
对于 JVM（Java 虚拟机）来说，它有两个非常重要的区域，一个是栈（Java 虚拟机栈），另一个是堆。堆是 JVM 的存储单位，所有的对象和数组都是存储在此区域的；而栈是 JVM 的运行单位，它主管 Java 程序运行的。那么为什么它有这样的魔力？它存储的又是什么数据？接下来，我们一起来看。
-
发表了文章 2023-05-09
一文搞定接口幂等性架构设计方案
现如今很多系统都会基于分布式或微服务思想完成对系统的架构设计。那么在这一个系统中，就会存在若干个微服务，而且服务间也会产生相互通信调用。那么既然产生了服务调用，就必然会存在服务调用延迟或失败的问题。当出现这种问题，服务端会进行重试等操作或客户端有可能会进行多次点击提交。如果这样请求多次的话，那最终处理的数据结果就一定要保证统一，如支付场景。此时就需要通过保证业务幂等性方案来完成。
-
发表了文章 2023-04-25
SpringBoot定时任务@Scheduled的多线程使用
@Scheduled是Spring框架中的一个注解，它可以用于配置定时任务，使得方法可以按照规定的时间间隔定时执行。在使用该注解时，我们可以指定任务的执行时间、循环周期、并发数等参数，从而实现定时任务的功能。在Spring Boot中，@Scheduled注解可以直接应用于方法上。
-
发表了文章 2023-04-18
Java对象的序列化和反序列化
Java 对象的序列化和反序列化是一种将对象转换成字节流并存储在硬盘或网络中，以及从字节流中重新加载对象的操作。Java 的序列化和反序列化提供了一种方便的方式，使得可以将对象在不同的应用程序之间进行交互。
-
发表了文章 2023-04-12
如何快速实现一个榜单排名的需求
可以看到使用rank()函数的时候相同的点赞数会返回相同的排名，排名会产生跳跃，最终的排名不是连续的 dense_rank()
-
发表了文章 2023-04-07
线上cpu报警的一次接口优化
春天到了大地都复苏了，沉寂了很久的cpu也开始慢慢复苏了，所谓前人埋坑后人填坑，伴随着阿里云监控报警，线上CPU使用率暴增，于是就开始了排查之路。
-
发表了文章 2023-04-04
玩转JUC工具，Java并发编程不再危机四伏
当今互联网应用普遍需要支持高并发访问，而Java作为一种广泛使用的编程语言，其并发编程能力对于实现高性能的应用非常重要。而Java的JUC（java.util.concurrent）并发工具就提供了许多实用的工具类和接口，可以让Java应用轻松实现高效的并发编程。
-
发表了文章 2023-03-28
Java项目是不是分布式，真有那么重要吗？
大概不知道从什么时候，「微服务」「分布式」这两个词又再次频繁出现在我的视线里。 「微服务」「分布式」在我刚毕业的时候还是比较关注的，那时候还入门了一把SpringCloud，写了一篇很长的文章，还是很顶的，有不少的大号都给我转载了，在知乎又获得了很多的赞。
-
发表了文章 2023-03-13
自动写代码？别闹了！
这几天，GitHub 上有个很火的插件在抖音刷屏了——Copilot。 这个神器有啥用呢？简单来讲，它就是一款由人工智能打造的编程辅助工具。 我们来看看它有啥用。
-
发表了文章 2023-03-10
Java中如何解析SQL语句、格式化SQL语句、生成SQL语句？
JSqlParser是一个用Java编写的SQL解析器，可以将SQL语句解析为Java对象，从而使开发人员能够轻松地分析、修改和重构SQL查询。
-
发表了文章 2023-03-07
为啥一个 main 方法就能启动项目
在 Spring Boot 出现之前，我们要运行一个 Java Web 应用，首先需要有一个 Web 容器（例如 Tomcat 或 Jetty），然后将我们的 Web 应用打包后放到容器的相应目录下，最后再启动容器。
-
发表了文章 2023-02-27
面试官：什么是双亲委派模型？
问题来了，为什么打印的不是“Bootstrap ClassLoader”而是 null 呢？ 这是因为启动类加载器（Bootstrap ClassLoader）是由 C++ 实现的，而这个 C++ 实现的类加载器在 Java 中是没有与之对应的类的，所以拿到的结果是 null。
-
发表了文章 2023-02-27
国内十大软件测试培训机构有哪些？线上线下培训机构都有
软件测试培训机构在当前的信息技术领域中扮演着非常重要的角色。培训机构可以提供系统的软件测试知识、实践技巧和实战项目经验，帮助学员快速掌握软件测试的各种技能，从而提高职业竞争力。 但由于我国软件测试培训机构相当多，要想找到真正有实力和口碑的机构并不容易。
-
发表了文章 2023-02-22
为什么很多公司都开始使用Go语言了？
最近和几个小伙伴们在写字节跳动第五届青训营后端组的大作业。 接近尾期了，是时候做一些总结了，那从什么地方开始呢？那就从我们为什么要选择Go语言开始吧~
-
发表了文章 2023-02-21
软件测试工资一般多少 最低7k，最高30k
在当前的信息技术领域中，软件测试已经成为了非常重要的一项工作。它是保证软件质量的一个重要环节，可以确保软件产品的正确性、完整性、可用性等方面的质量。
-
发表了文章 2023-02-14
聊透Spring bean的生命周期
在对于Spring的所有解读中，Bean的生命周期都可谓是重中之重，甚至还有人称Spring就是个管理Bean的容器。Bean的生命周期之所以这么重要，被反复提及，是因为Spring的核心能力，比如对象创建(IOC)、属性注入(DI)、初始化方法的调用、代理对象的生成(AOP)等功能的实现，都是在bean的生命周期中完成的。清楚了bean的生命周期，我们才能知道Spring的神奇魔法究竟是什么，是怎么一步步赋能，让原本普通的java对象，最终变成拥有超能力的bean的。
-
发表了文章 2023-02-07
Redis中的HotKey如何解决
对于三高系统，Redis是必须/必需的，当并发高到一定的程度就可能会出现HotKey的问题，今天我们来看下Redis中的HotKey如何解决。
-
发表了文章 2023-02-01
CompletableFuture实现异步编排
场景：电商系统中获取一个完整的商品信息可能分为以下几步：①获取商品基本信息 ②获取商品图片信息 ③获取商品促销活动信息 ④获取商品各种类的基本信息 等操作，如果使用串行方式去执行这些操作，假设每个操作执行1s，那么用户看到完整的商品详情就需要4s的时间，如果使用并行方式执行这些操作，可能只需要1s就可以完成。所以这就是异步执行的好处。
-
发表了文章 2023-01-17
方便实用！软件测试面试题及答案这里面都有
软件测试属于技术类工种，因此，面试环节上也要比其他岗位的多上一个环节，分别是日常面试以及技术类问题面试，前者大家临场发挥就能搞定，而后者的话，由于技术性强，再加上很多人容易紧张，从而导致面试的通过率降低，所以，不少想在年后开始找工作的软件测试工程师们，就想要知道哪里有比较齐全的软件测试面试题及答案可以用作面试加持？
暂无更多信息
-
发表了文章
2024-12-25
Java—多线程实现生产消费者
-
发表了文章
2024-12-23
Java多线程是什么
-
发表了文章
2024-12-19
Spring Boot 编写 API 的 10条最佳实践
-
发表了文章
2024-12-17
MySQL 窗口函数详解：分析性查询的强大工具
-
发表了文章
2024-12-12
Spring Boot 开发中的常见失误
-
发表了文章
2024-12-10
Java 11 的String是如何优化存储的？
-
发表了文章
2024-12-06
Java 异常处理：11 个异常处理最佳实践
-
发表了文章
2024-12-04
java 为什么 String 在 java 中是不可变的？
-
发表了文章
2024-12-02
Spring Boot集成MinIO
-
发表了文章
2024-11-27
Java 8 异步编程利器：CompletableFuture
-
发表了文章
2024-11-25
springboot解决跨域问题
-
发表了文章
2024-11-21
WebService客户端调用的5种常见方式
-
发表了文章
2024-11-15
Java设计模式：建造者模式详解
-
发表了文章
2024-11-13
Jackson反序列化不可变类
-
发表了文章
2024-11-11
mysql 的ReLog和BinLog区别
-
发表了文章
2024-11-08
go进阶编程：Golang中的文件与文件夹操作指南
-
发表了文章
2024-11-06
Go文件操作：掌握Go的文件读写与操作技巧
-
发表了文章
2024-11-04
Java基础（13）抽象类、接口
-
发表了文章
2024-10-30
MySQL主从复制原理和使用
-
发表了文章
2024-10-28
Java泛型是什么？
滑动查看更多
暂无更多信息
暂无更多信息