智物科技库_个人页

2024年07月

• 07.08 11:49:35
  发表了文章 2024-07-08 11:49:35

  Python中好用的爬虫框架

  **Scrapy** 是一个强大的Python爬虫框架，适合大规模数据采集，提供高度可定制的爬取流程、内置数据提取工具、自动请求调度、分布式爬取支持、中间件扩展及多种数据存储方式。 **Beautiful Soup** 和 **Requests** 结合使用，便于Python中简单网页的请求和HTML解析。Requests发送HTTP请求，Beautiful Soup解析内容，适合小型项目或数据提取。 **Requests-HTML** 是Requests的扩展，支持HTML解析和CSS选择器，自动处理链接，适合网页解析任务。
• 07.04 14:20:47
  发表了文章 2024-07-04 14:20:47

  Pathlib好用吗？对比os.path

  `pathlib`是Python 3.4引入的模块，提供了一种面向对象的方式来处理文件路径，以替代可能引起混淆的`os.path`字符串操作。从3.6版开始，`open()`及`os`, `shutil`, `os.path`中的函数都支持`pathlib.Path`对象。`pathlib`通过统一使用正斜杠处理不同操作系统路径，简化了代码，如在Windows和Linux上。它还允许直接对文件进行读写操作，减少错误和提高可读性。虽然`pathlib`可能稍慢于传统方法，但在大多数情况下，其易用性和可维护性优点远胜过这点性能损失。因此，推荐使用`pathlib`进行路径操作。
• 07.02 11:41:20
  发表了文章 2024-07-02 11:41:20

  一些使用python过程中的小贴士

  摘要： 在Python中，`type`是一个特殊类型，既是类型也是对象。`isinstance()`函数表明`type`和`object`都是类型并且是彼此的基类。`all()`和`any()`函数分别检查可迭代对象的所有元素是否都为真或至少有一个元素为真。链式操作如`==`和`in`具有相同的优先级，从左到右结合，可能导致意外的结果，例如`False == False in [False]`实际上是`True`，因为`False in [False]`先计算并返回`True`，然后与`False == True`比较。
• 07.01 00:12:05
  发表了文章 2024-07-01 00:12:05

  mysql和Redis如何保持数据一致性

  文档讨论了在系统重建时如何处理数据库和缓存的一致性问题。关键点包括：数据库（如MySQL）和分布式ID生成器可能不宜轻易替换，而代码可以通过兼容性改造来适应新系统。文中以CPU、Memory和Disk的比喻解释了缓存（如Redis）在性能优化中的作用。为确保MySQL和Redis间的一致性，提到了四种策略：Read/Write Through、Write Behind、Cache Aside（先写数据库后更新缓存或先删除缓存后更新数据库）以及先写缓存后写数据库。考虑到读多写少和低频写操作的业务场景，最终选择了先写数据库后更新缓存的策略，并利用canal保证消息顺序性以实现最终一致性。

2024年06月

• 06.28 11:16:31
  发表了文章 2024-06-28 11:16:31

  私人住宅IP：发挥IPXProxy的速度优势

  在当今数字化的世界中，保护个人在线隐私和数据安全显得尤为重要。随着互联网使用的普及，我们在网络上留下的每一个痕迹都可能泄露个人信息或导致数据被盗。为了提升网络安全性和保证在线活动的顺畅进行，越来越多的人选择使用私人住宅IP作为他们的网络代理工具。那么，私人住宅IP究竟是什么？它如何在连接速度上具备独特的优势？
• 06.27 15:02:22
  发表了文章 2024-06-27 15:02:22

  Python有哪些好用的爬虫框架

  在Python中，Scrapy是一个强大的网络爬虫框架，专为数据采集设计，具有高度可定制的爬取流程、内置的数据提取工具、自动请求调度、分布式爬取支持和中间件扩展。它允许开发者轻松构建和管理爬虫，高效抓取和处理网页数据。 Beautiful Soup和Requests库组合则提供了简单的HTML解析和请求功能。Requests库用于发送HTTP请求，而Beautiful Soup则用于解析HTML内容，两者结合便于数据提取。Requests-HTML库进一步简化了这一过程，集成了Requests的功能并内置HTML解析，支持CSS选择器和XPATH。
• 06.25 16:21:46
  发表了文章 2024-06-25 16:21:46

  Python 字符串格式化的方式有哪些？

  这篇文章主要介绍了Python的字符串格式化方法，包括： 1. `%` 操作符，如 `%s`, `%d`, `%f` 用于基本的变量插入和类型转换。 2. `str.format()` 方法，利用 `{}` 占位符和位置或关键字参数。 3. f-strings (Python 3.6+)，直接在字符串前加 `f` 并在花括号内嵌入变量。 4. `string.Template` 模块，使用 `$` 符号进行模板替换。 5. `str.format_map()` 方法，接受字典替换占位符。 文章强调f-strings在新代码中的推荐使用，因其简洁和可读性。
• 06.21 17:47:33
  发表了文章 2024-06-21 17:47:33

  Python if 的高级功能有哪些？

  **Python 条件语句简介** `if` 用于检查变量是否为真，真值包括非零数、非空字符串、非空列表等。`if xxx:` 当 `xxx` 为真时执行代码块，否则跳过。`if xxx == xxx` 使用 `==` 比较值是否相等，`if xxx is xxx` 则检查是否为同一对象。
• 06.19 12:00:20
  发表了文章 2024-06-19 12:00:20

  Filter函数有哪些的高级用法

  `filter()`函数是Python中用于从序列中按条件筛选元素的内置函数。它接受一个函数和一个可迭代对象作为参数，返回一个迭代器，该迭代器包含应用函数后返回`True`的元素。基本语法是`filter(function, iterable)`。可以使用`lambda`表达式简化条件，例如筛选偶数：`filter(lambda x: x % 2 == 0, numbers)`。文章还讨论了使用自定义函数、处理多个条件的情况，并对比了`filter()`与列表推导式的用法。
• 06.17 15:19:43
  发表了文章 2024-06-17 15:19:43

  怎样使用Cython提升Python的性能

  **Cython是Python的性能增强工具，用于提升Python代码的速度。它允许声明变量类型并调用C库。安装Cython使用`pip install Cython`。Cython语法接近Python，但通过类型声明优化性能。编译Cython代码需创建setup.py文件，然后运行`python setup.py build_ext --inplace`。通过Cython，可以直接优化Python代码和调用C函数，平衡速度与灵活性。**
• 06.14 16:38:41
  发表了文章 2024-06-14 16:38:41

  怎么发布npm包？

  该文介绍了如何在JavaScript环境中发布npm包的步骤。首先，确保npm客户端配置使用官方源，以避免安全和兼容性问题。接着，登录npm账号。然后，检查`package.json`文件，其中包的`name`应唯一，版本号遵循语义化版本控制。更新版本号后，使用`npm publish`发布包。最后，通过在新环境中全局安装并测试包来验证发布是否成功
• 06.12 14:59:29
  发表了文章 2024-06-12 14:59:29

  binlog、redolog和undolog三者有何区别？

  MySQL中的binlog、redo log和undo log是日志文件，各有特定作用。binlog用于数据备份、恢复和复制，适用于所有存储引擎。redo log记录事务修改，用于崩溃恢复和数据持久性，仅InnoDB存储引擎支持。undo log保存事务修改前的状态，用于事务回滚和MVCC，也仅InnoDB支持。它们在功能和记录内容上有明显区别，有助于事务管理和数据库一致性。
• 06.11 00:14:58
  发表了文章 2024-06-11 00:14:58

  SQL中为什么不要使用1=1

  本文探讨了在SQL查询中使用`1=1`的现象及其背后的原因与问题。开发人员有时使用`1=1`作为始终为真的条件来方便动态构建SQL语句，但这样做可能会带来性能问题，尽管现代数据库查询优化器可能能优化掉这种条件，但在复杂查询或特定系统中仍可能影响效率。此外，`1=1`还降低了代码的可读性和跨数据库的兼容性。建议使用更佳实践，如MyBatis的动态SQL标签或Entity Framework的函数式查询，以避免不必要的条件。代码质量的重要性在于每一行代码都应有其明确的目的，避免浪费计算资源。
• 06.05 14:24:52
  发表了文章 2024-06-05 14:24:52

  Go 中空结构有什么用法

  在 Go 语言中，空结构体 struct{} 是一个非常特殊的类型，它不包含任何字段并且不占用任何内存空间。虽然听起来似乎没什么用，但空结构体在 Go 编程中实际上有着广泛的应用。本文将详细探讨空结构体的几种典型用法，并解释为何它们在特定场景下非常有用。
• 06.03 14:11:55
  发表了文章 2024-06-03 14:11:55

  不引入ES，如何利用MySQL实现模糊匹配

  本文介绍了实现一个公司申请审批流程的业务场景，该流程涉及商务角色申请添加公司，然后由管理员审批。为了防止添加重复的公司，管理员在审批前需检查已有公司信息。核心思路是通过分词、匹配数据库中的数据并按匹配度排序。在技术选型上，由于系统规模小，选择了使用MySQL的正则匹配功能而非引入ES，以降低复杂性。实现过程中，首先对输入的公司名称进行预处理，移除无用信息如地名等，然后使用IKAnalyzer进行分词，最后通过正则表达式在数据库中进行模糊匹配并按匹配度排序。代码示例展示了如何处理公司名称、分词和执行模糊匹配的SQL查询。

2024年05月

• 05.30 11:38:31
  发表了文章 2024-05-30 11:38:31

  MySQL in 太慢的 3 种优化方案

  MySQL中的`eq_range_index_dive_limit`参数默认值为200，影响了IN查询的执行方式。当IN列表项少于这个值时，MySQL会使用扫描索引树（精确成本计算），而多于此值则使用索引统计（快速但可能不准）来分析查询成本。大量IN值可能导致性能下降。解决方案包括：1) 分批查询；2) 使用UNION ALL创建内存临时表；3) 创建实体表存储IN值并进行JOIN操作。注意，实体表需及时清理并避免反复插入删除导致性能下降。
• 05.28 15:46:02
  发表了文章 2024-05-28 15:46:02

  正宇软件引领石家庄创新履职新模式，倾力打造智慧政协”平台

  正宇软件助力石家庄打造的“智慧政协”平台，不仅提升了政协工作的效率和水平，也扩大了正宇软件在政务服务领域的品牌影响力。
• 05.28 14:26:31
  发表了文章 2024-05-28 14:26:31

  SpringBoot读取配置优先级顺序是什么？

  Spring Boot的外部配置加载优先级是开发者理解和管理应用程序配置的关键。它支持多种配置源，包括Java属性文件、YAML文件、环境变量、命令行参数等。配置加载顺序从低到高为：默认属性、@PropertySource加载的配置、Config Data（内部配置文件、外部配置文件）、环境变量、系统属性、Servlet容器初始化参数、SPRING_APPLICATION_JSON格式的环境变量或系统属性以及命令行参数。了解这一顺序有助于在不同环境中灵活配置和管理Spring Boot应用，确保其按预期运行。
• 05.25 17:07:32
  发表了文章 2024-05-25 17:07:32

  怎样将MultipartFile和File互转

  该文介绍了如何在Java开发中优雅地转换MultipartFile和File。MultipartFile是Spring框架用于接收上传文件的类，而File是操作系统文件的代表。文章提供了三种将MultipartFile转换为File的方法：使用`transferTo`方法、FileOutputStream和Java NIO。另外，还介绍了在测试场景下将File转换为MultipartFile，通过MockMultipartFile实现。
• 05.23 14:23:40
  发表了文章 2024-05-23 14:23:40

  Rabbitmq消息大量堆积怎么办？

  该文讨论了一个系统架构问题，主要涉及RabbitMQ在处理订单消息时遇到的性能瓶颈。首先，系统使用RabbitMQ是为了解耦和提高性能，前端创建订单后通过RabbitMQ发送消息给订单履约系统消费并执行后续操作。当订单流量激增时，消息堆积导致服务器压力增加。 排查解决方案： 1. 增加消费者以提高消费速度，但发现即使增加消费者，消息堆积问题仍未解决。 2. 分析消费者逻辑，发现调用库存系统接口可能导致处理速度慢。库存系统压力大，接口响应慢，加剧问题。 3. 实施清空堆积消息的策略，新建消费者快速消费消息并存储在表中，减轻服务器压力。待库存服务恢复后，再将消息推回RabbitMQ处理。
• 05.21 13:52:42
  发表了文章 2024-05-21 13:52:42

  怎样保证Redis 保证数据不丢失？

  Redis 数据不丢失主要靠持久化（RDB、AOF、混合）和集群运行（主从同步、哨兵、Cluster）。RDB是快照，恢复速度快但可能丢失部分数据；AOF记录所有命令，实时性好但写性能较低；混合持久化结合两者优点。集群通过多服务器分布数据，提高可用性和数据安全性。
• 05.17 18:22:31
  发表了文章 2024-05-17 18:22:31

  JAVA中怎样实现树形菜单

  在这篇文章中，作者介绍了如何用两种方法实现目录树数据结构。首先，定义了目录结构在实际开发中的作用，即后端向前端返回整理好的数据，类似书目录的形式。接着，作者逐步讲解了实现目录树的步骤，包括创建数据表、插入数据、创建对象类以及编写逻辑代码。在逻辑代码部分，提供了两种写法，一种适合新手理解，另一种简洁但可能对初学者较难。每种写法都包含了获取数据、转换数据、构建树结构和获取顶层节点的过程。最后，展示了实现后的目录树结构数据。

2023年06月

• 06.06 17:01:50
  发表了文章 2023-06-06 17:01:50

  代码评审的18个军规，收藏好！

  大家好，我是田螺。 我们开发完需求，提测前，一般都需要代码评审。小伙伴们，你们知道代码评审，一般都有哪些军规嘛？今天田螺哥给你带来代码评审的18个军规。

2023年05月

• 05.30 15:32:50
  发表了文章 2023-05-30 15:32:50

  再一次，实现听歌自由

  2002年11月，百度上线MP3搜索功能，几乎能搜索和下载到所有的歌曲。按相关的版权法规，百度未经授权使用他人资源牟利是违法的。当时互联网产业违法采集数据、传播盗版是家常便饭，版权管理形同虚设，百度顺势而为分了一块大蛋糕。盗版音乐砸了音乐人的饭碗，就如同盗版软件摧残软件从业者。最近十多年，政府对音像作品版权的管理日趋严格，这是一件利国利民的好事，一个行业兴盛的起点首先是从业者得到应有的报酬。
• 05.24 16:58:55
  发表了文章 2023-05-24 16:58:55

  如果不知道这4种缓存模式，敢说懂缓存吗？

  在系统架构中，缓存可谓提供系统性能的最简单方法之一，稍微有点开发经验的同学必然会与缓存打过交道，最起码也实践过。
• 05.17 16:43:00
  发表了文章 2023-05-17 16:43:00

  浅谈微服务中限流熔断降级的方法论

  易波动或者对波动比较敏感；容易影响整体的；不能预测上游行为，或者不能预测下游行为，依赖的上下游有不可预测的行为体。要不要做熔断降级的核心点在于是否可控，有没有不可控因素。
• 05.09 16:06:58
  发表了文章 2023-05-09 16:06:58

  这样的优化对 MySQL 来说作用微乎其微

  今天，我们在这里不展开说明这些问题，而是跟大家介绍在这些优化的层面中，有哪些是优化对 MySQL 数据库来说作用微乎其微，以便我们在产生环境中调优 MySQL 数据库时，避免一些不必要的优化。
• 05.04 16:06:02
  发表了文章 2023-05-04 16:06:02

  SpringBoot 采用JsonSerializer和Aop 实现可控制的数据脱敏

  最近在写一个功能，对用户敏感的数据进行脱敏，在网上看一圈基本上都是全局范围的，我觉得应该更加灵活，在不同场景，不同业务下进行脱敏更加合适。

2023年04月

• 04.25 17:07:58
  发表了文章 2023-04-25 17:07:58

  SpringBoot 之启动流程

  SpringBoot 是一个基于 Spring 框架的快速开发框架，旨在简化 Spring 应用程序的开发和部署。在本文中，我们将深入分析 SpringBoot 启动过程的源代码，并提供必要的解释和说明。
• 04.18 17:36:57
  发表了文章 2023-04-18 17:36:57

  总结 canal 使用过程中的几个问题，值得思考一下

  在给 canal 分配数据库权限的过程中，由于密码设置的比较简单，会报以下错误 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
• 04.12 16:51:06
  发表了文章 2023-04-12 16:51:06

  利用springboot初始化机制三种实现策略模式的应用

  面试时总被问，spring中使用了哪些设计模式，你在实际开发中又使用哪些设计模式。给他手指一个方向跟他说，这就是一个模式：go out!。
• 04.07 16:59:54
  发表了文章 2023-04-07 16:59:54

  JVM频繁GC内存溢出排查

  GC（Garbage collection）频繁和堆内存溢出原因简单来说是对象占用堆空间难以回收，新对象无法分配触发GC或者直接导致内存溢出，最终进程结束。
• 04.04 16:27:34
  发表了文章 2023-04-04 16:27:34

  Java两大工具库：Commons和Guava（6）

  除了操作集合、限流和缓存，Guava还有另一个隐秘的功能：事件总线EventBus机制——是发布-订阅模式的实现，不需要显式地注册回调——比观察者模式更灵活。

2023年03月

• 03.28 16:02:27
  发表了文章 2023-03-28 16:02:27

  面试官：SpringBoot的启动流程清楚吗？

  1. 加载配置文件与启动类 当 SpringBoot 项目启动时，会首先读取项目中的配置文件，主要是 application.yml 和 application.properties 文件。这些配置文件会指定项目的启动端口号、数据库连接等一些列配置信息。同时，SpringBoot也会加载启动类，这个启动类中有@SpringBootApplication注解，它标识着这个类是SpringBoot的启动类。
• 03.22 17:27:52
  发表了文章 2023-03-22 17:27:52

  在Vue3这样子写页面更快更高效

  在开发管理后台过程中，一定会遇到不少了增删改查页面，而这些页面的逻辑大多都是相同的，如获取列表数据，分页，筛选功能这些基本功能。而不同的是呈现出来的数据项。还有一些操作按钮。
• 03.20 16:32:07
  发表了文章 2023-03-20 16:32:07

  Spring Boot配置HTTPS，解决微信小程序上线问题

  由于微信小程序在体验版和上线版本，需要用https连接，所以你需要申请一个域名，并为这个域名申请证书。怎么利用acme.sh免费申请证书在上篇文章有提到利用acme.sh免费建立https连接，这里就记录一下Spring Boot中配置HTTPS，再利用Docker进行部署。
• 03.14 10:19:39
  发表了文章 2023-03-14 10:19:39

  软件测试怎么学？有什么培训机构可以推荐吗？

  众所周知，软件测试对代码的要求不像其他编程学科那么高，对零基础小白用户很友好，那么他们要怎么学学软件测试呢？

  
• 03.13 17:31:55
  发表了文章 2023-03-13 17:31:55

  SpringBoot 如何保证接口安全？老鸟们都是这么玩的！

  对于互联网来说，只要你系统的接口暴露在外网，就避免不了接口安全问题。 如果你的接口在外网裸奔，只要让黑客知道接口的地址和参数就可以调用，那简直就是灾难。
• 03.10 17:01:32
  发表了文章 2023-03-10 17:01:32

  Java为什么不支持多继承

  首先，思考这么一种场景，假如现在A类继承了B类和C类，并且B类和C类中，都存在test()方法，那么当A类对象调用test()方法时，该调用B类的test()呢？还是C类的test()呢？是没有答案的，所以Java中不允许多继承。
• 03.07 17:40:58
  发表了文章 2023-03-07 17:40:58

  从根上理解Cglib与JDK动态代理

  最近在阅读到了Spring源码对于两种动态代理使用在不同场景下的使用，两种方式各有利弊写一篇文加深自己的认识。文中对于源码的涉及较少，更多的是作者自己的理解和举例，然后通过部分源码验证。 首先看两个面试经常会遇到的关于Spring的问题：
• 03.07 10:00:59
  发表了文章 2023-03-07 10:00:59

  软件测试工资一般多少？阶级越高，工作经验越久，工资就越高

  自动化测试培训机构哪个好？我国目前有着很多教授自动化测试课程培训机构，但是由于每个机构的课程设置、教学质量和师资力量等方面各有差异。所以，大家如果想要选择一家好的自动化测试培训机构，那么以下几个因素就一定要考虑。

  

2023年02月

• 02.27 17:12:25
  发表了文章 2023-02-27 17:12:25

  从源码角度查看SpringBoot是怎样获取到Bean的

  我们都知道在SpringBoot启动类上添加@SpringBootApplication注解后执行main方法就可以自动启动服务 Spring会自动帮我们找到需要管理的Bean的呢
• 02.22 17:40:06
  发表了文章 2023-02-22 17:40:06

  谁说 Java 不能多继承

  可以看到当我们在B类上添加注解@InheritClass并指定A1.class和A2.class之后，我们的B实例就有了A1和A2的属性和方法
• 02.14 17:45:18
  发表了文章 2023-02-14 17:45:18

  详解Redisson分布式限流的实现原理

  我们目前在工作中遇到一个性能问题，我们有个定时任务需要处理大量的数据，为了提升吞吐量，所以部署了很多台机器，但这个任务在运行前需要从别的服务那拉取大量的数据，随着数据量的增大，如果同时多台机器并发拉取数据，会对下游服务产生非常大的压力。之前已经增加了单机限流，但无法解决问题，因为这个数据任务运行中只有不到10%的时间拉取数据，如果单机限流限制太狠，虽然集群总的请求量控制住了，但任务吞吐量又降下来
• 02.07 17:56:12
  发表了文章 2023-02-07 17:56:12

  如何优雅地校验后端接口数据，不做前端背锅侠

  最近新接手了一批项目，还没来得及接新需求，一大堆bug就接踵而至，仔细一看，应该返回数组的字段返回了 null，或者没有返回，甚至返回了字符串 "null"？？？

  
• 02.01 17:35:23
  发表了文章 2023-02-01 17:35:23

  12.ThreadLocal的那点小秘密

  我们先从一个“谣言”开始，通过分析ThreadLocal的源码，尝试纠正“谣言”带来的误解，并解答上面的问题。 流传已久的“谣言”

  
• 02.01 09:31:13
  发表了文章 2023-02-01 09:31:13

  软件测试面试话术怎么准备 从这几个方面就可以备妥当

  近些年，各行各业找工作都不太容易，虽然身处技术岗位的软件测试因企业需求大，要比之其他行业容易，但，稍有不慎，也会让求职者与自己心仪的offer失之交臂，因此，大家在准备前面前，也是做足了准备，比如，提前准备好软件测试面试话术，以及刷相关的软件测试技术面试题，只为让自己能够顺利的通过面试，拿到心仪的offer。

  

2023年01月

• 01.16 17:36:32
  发表了文章 2023-01-16 17:36:32

  加速开发流程的 Dockerfile 最佳实践

  作为开发人员，我们希望将开发环境与生产环境尽可能地匹配，以确保我们构建的内容在部署时能够正常工作。