大数据文摘_个人页
大数据文摘
文章
233
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2024-07-08
怎么用Python解析HTML轻松搞定网页数据
**Python解析HTML摘要** 本文介绍了使用Python处理HTML的常见需求，如数据提取、网络爬虫和分析，并讨论了三种解析方法。正则表达式适用于简单匹配，但对复杂HTML不理想；BeautifulSoup提供简单API，适合多数情况；lxml结合XPath，适合处理大型复杂文档。示例展示了如何用这些方法提取链接。
-
发表了文章 2024-07-04
怎么减小Docker的镜像体积？
**Docker 镜像优化目标：**提升构建速度、减小镜像大小、增强安全性和效率。**技巧：**1) 选择轻量级基础镜像（如Alpine、Ubuntu Minimal）；2) 使用多阶段构建，分阶段复制文件和执行操作；3) 利用缓存加速构建，避免不必要的重复；4) 合并`RUN`指令减少镜像层数。这些方法能显著优化镜像，提高性能和节省存储空间。
-
发表了文章 2024-07-02
什么是Python asyncio
**Python的asyncio库概述** asyncio是Python的异步I/O框架，基于协程，提供了一种编写并发代码的简洁方式。它引入了`async`和`await`关键字，用于定义和执行异步操作，简化了IO密集型任务的并发处理。事件循环是核心，负责调度协程任务。asyncio解决了传统多线程/多进程并发的复杂性和效率问题，尤其适合结构化的网络编程。例如，通过并发下载多个网站，asyncio能提高效率，对比之下，使用`threading`模块则更为低效。简而言之，asyncio是Python高效异步编程的标准工具。
-
发表了文章 2024-07-01
Go语言的iota关键字有什么用途？
**Go语言中的`iota`是常量生成器，用于在`const`声明中创建递增的常量。`iota`在每个新的`const`块重置为0，然后逐行递增，简化了枚举类型或常量序列的定义。例如，定义星期枚举：** ```markdown ```go type Weekday int const ( Sunday Weekday = iota // 0 Monday // 1 Tuesday // 2 ... ) ``` 同样，`iota`可用于定义不同组的常量，如状态码和标志位，保持各自组内的递增，提高代码可读性。
-
发表了文章 2024-06-28
IPXProxy静态住宅代理：注册OpenAI Sora的关键
随着OpenAI发布的Sora引起了广泛关注，这款革命性的文本转视频生成工具给视频创作领域带来了质的飞跃。许多人都对Sora充满了好奇，希望能够注册并使用它来提升创作水平。然而，许多用户在注册过程中遇到了网络环境的问题，这时候静态住宅代理的优势就显现出来了。
-
发表了文章 2024-06-27
Dubbo怎么配置监控中心
**摘要：** 本文介绍了如何配置Dubbo的简单监控中心。首先，通过添加`<dubbo:monitor protocol="registry" />`到配置文件启用监控。接着，修改`dubbo.properties`设置Zookeeper地址。启动监控中心，服务提供者和消费者需添加`monitorEnabled="true"`以开启监控功能。配置完成后，监控中心的Web界面能展示服务状态和性能指标，助力开发者和运维人员实时监控服务健康。
-
发表了文章 2024-06-25
Python循环怎么给enumerate和for做对比
**Python中的`for`循环遍历集合，而`enumerate`函数在迭代时提供元素的索引。
-
发表了文章 2024-06-21
怎么在在 go 中使用 jwt
JWT（JSON Web Tokens）由三个部分组成：Header、Payload和Signature。Header通常包含`alg`(算法)和`typ`(类型)字段，如`HS256`或`JWT`。Payload则包括官方标准字段如`iss`(签发人)、`exp`(过期时间)等，以及可自定义的数据，比如用户信息。Signature用于验证JWT未被篡改，通过HMAC算法（如HS256）或非对称加密（如RS256）确保安全性。完整JWT是这三部分经过编码和签名后的结果。
-
发表了文章 2024-06-19
怎么在isort Python 代码中的导入语句进行排序和格式化
`isort` 是一个Python工具，用于自动排序和格式化代码中的导入语句，提高代码整洁度和可读性。它支持自动排序、保留空白和注释、自定义排序规则、与多种编辑器集成以及命令行使用。安装`isort`可通过`pip install isort`，使用时可直接在Python代码中导入或通过命令行处理文件。示例展示了如何在代码中使用`isort`进行导入排序，包括基本排序、自定义设置和处理多个文件。`isort`适用于标准库、第三方库和自定义模块的导入排序，还可忽略特定导入，并能与IDE和编辑器插件集成，提升开发效率。
-
发表了文章 2024-06-14
javascript中的生成器和迭代器是什么
JavaScript中的生成器和迭代器是处理集合数据的利器，它们提供了一种遍历和操作元素的统一方式。迭代器是具有`next()`方法的对象，返回包含`value`和`done`属性的对象，用于循环处理集合。生成器函数更进一步，可以在执行过程中暂停并返回值，通过`yield`产生迭代值，适用于生成序列、异步编程和实现状态机等场景。例如，一个生成器可以无限生成斐波那契数列，或者在读取文件时控制异步流程。使用这些工具，代码变得更简洁、高效。
-
发表了文章 2024-06-12
怎么基于Pytest+Requests+Allure实现接口自动化测试？
该文介绍了一个基于Python的自动化测试框架，主要由pytest、requests和allure构成，采用关键字驱动模式。项目结构分为六层：工具层（api_keyword）封装了如get、post的请求；参数层（params）存储公共参数；用例层（case）包含测试用例；数据驱动层（data_driver）处理数据；数据层（data）提供数据；逻辑层（logic）实现用例逻辑。代码示例展示了如何使用allure装饰器增强测试报告，以及如何使用yaml文件进行数据驱动。
-
发表了文章 2024-06-11
Go语言中的空值与零值有什么区别？
在Go语言中，`nil`和零值有显著区别。`nil`用于表示指针、通道等类型的“无”或“不存在”，而零值是类型的默认值，如数字的0，字符串的`''`。`nil`常用于未初始化的变量或错误处理，零值用于提供初始值和避免未初始化的使用。理解两者差异能提升代码质量和稳定性。
-
发表了文章 2024-06-05
怎么通过第三方库实现标准库`database/sql`的驱动注入？
在Go语言中，数据库驱动通过注入`database/sql`标准库实现，允许统一接口操作不同数据库。本文聚焦于`github.com/go-sql-driver/mysql`如何实现MySQL驱动。`database/sql`提供通用接口和驱动注册机制，全局变量管理驱动注册，`Register`函数负责添加驱动，而MySQL驱动在`init`函数中注册自身。通过这个机制，开发者能以一致的方式处理多种数据库。
-
发表了文章 2024-06-03
Mybatis mapper动态代理解决方案
该文介绍了Mybatis中使用Mapper接口的方式代替XML配置执行SQL。Mapper接口规范包括：namespace与接口类路径相同，select ID与接口方法名一致，parameterType和方法参数类型匹配，resultType与返回值类型一致。实现过程中，需配置Mapper.xml，编写Mapper.java接口，并在Mybatis-config.xml中设置。测试类中，通过SqlSession的getMapper方法获取接口的动态代理对象，调用方法执行SQL。
-
发表了文章 2024-05-30
什么是时间轮？
时间轮是一种用于任务调度和时间管理的数据结构，尤其适合处理大量定时任务的场景，如网络服务器或实时系统。它由一个圆形数组构成，每个槽代表固定时间间隔，任务根据执行时间添加到相应槽。时间推进时，指针移动并执行到期任务。时间轮具有高效性和简单性，插入和删除操作接近常数时间复杂度。层级时间轮可扩展处理更大时间范围和精度。在Spring Boot中，可以使用Netty的`HashedWheelTimer`实现高效定时任务管理。
-
发表了文章 2024-05-28
@Async异步失效的9种场景
在Spring中，启用@Async异步功能需要在启动类或配置类上使用`@EnableAsync`。若未使用此注解，@Async将无效。另外，内部方法调用（如在一个类的方法中调用另一个被@Async注解的方法）会导致异步功能失效，因为这不涉及Spring的AOP代理。此外，@Async方法必须是public，返回类型为void或Future，不能是static或final，且其所在的类需被@Service等注解以使Spring管理。如果使用@ComponentScan，确保正确扫描包含@Async类的包路径。
-
发表了文章 2024-05-25
Redis宕机了，如何恢复数据
Redis持久化是为了防止服务宕机导致内存中数据丢失。主要有两种策略：RDB（快照）和AOF（仅追加文件）。RDB在指定时间间隔生成数据集快照，保存到磁盘，通过fork子进程实现，避免阻塞主线程，但可能丢失部分数据。AOF记录每次写操作，实时写回磁盘，提供秒级数据丢失保障，可通过不同同步策略平衡性能和安全性。AOF文件可定期重写以优化空间效率。混合使用RDB和AOF能在数据安全性和恢复速度上找到平衡。
-
发表了文章 2024-05-23
SpringBoot接收参数的方式
本文介绍了Java Spring Boot中处理GET请求的多种方式。可以使用方法参数直接接收，或者通过`@RequestParam`注解指定必传参数。此外，可以用实体类接收多个相关参数，但不能同时使用`@RequestParam`。还可以通过`HttpServletRequest`对象获取参数，或利用`@PathVariable`接收路径变量。对于数组和集合参数，需注意使用`@RequestParam`注解。
-
发表了文章 2024-05-21
9个SQL优化技巧
本文总结了SQL查询优化的几个关键策略：1) 避免使用`select *`，只查询需要的字段；2) 检查执行计划，确保查询条件和排序字段使用了索引；3) 避免使用`or`连接，可考虑用`union`替代；4) 减少`in`和`not in`的使用，尤其是大数据量时；5) 避免左模糊查询，以利用索引；6) 使用JOIN代替子查询，提高效率；7) 根据需求选择合适的JOIN类型（如INNER JOIN、LEFT JOIN）；8) 优化`group by`字段，使用索引和覆盖索引；9) 对深分页查询进行优化，如使用子查询、标签记录法。这些策略有助于提升接口性能和数据库效率。
-
发表了文章 2024-05-17
怎样用EasyExcel导出更多代码？
在处理大量数据导出时遇到Java OutOfMemoryError（OOM）。最初使用公司内部工具直接查询全量数据写入Excel，导致OOM。改用阿里EasyExcel后，虽偶发OOM，但问题依旧存在。为解决此问题，采用了分页查询并分批次写入Excel的方法，有效避免了OOM。为简化此过程，封装了一个EasyExcelExport抽象类，包含分批次导出和不分批次导出的方法。使用时需实现getData()和convertSourceData2ExportEntity()方法。通过示例展示了如何利用这个工具类进行分批导出，避免了内存溢出，并减少了重复代码。
-
发表了文章 2023-06-06
使用Spring Batch进行批量处理
在Java后端开发中，批量处理是一个非常常见的需求。例如，我们需要从数据库中读取大量数据，对这些数据进行处理，然后将处理后的结果写回到数据库中。这时候，使用Spring Batch框架可以帮助我们快速地实现批量处理的功能。
-
发表了文章 2023-05-24
不需要策略模式也能避免满屏if/else
可能不少开发同学刚接入代码的时候是这么写的，也可能是想省事，也可能是真的不知道用什么办法解决。但从今天开始，你看完这篇文章，你自己都不会允许自己出现上述情况。
-
发表了文章 2023-05-17
对线面试官：浅聊一下 Java 虚拟机栈？
对于 JVM（Java 虚拟机）来说，它有两个非常重要的区域，一个是栈（Java 虚拟机栈），另一个是堆。堆是 JVM 的存储单位，所有的对象和数组都是存储在此区域的；而栈是 JVM 的运行单位，它主管 Java 程序运行的。那么为什么它有这样的魔力？它存储的又是什么数据？接下来，我们一起来看。
-
发表了文章 2023-05-09
一文搞定接口幂等性架构设计方案
现如今很多系统都会基于分布式或微服务思想完成对系统的架构设计。那么在这一个系统中，就会存在若干个微服务，而且服务间也会产生相互通信调用。那么既然产生了服务调用，就必然会存在服务调用延迟或失败的问题。当出现这种问题，服务端会进行重试等操作或客户端有可能会进行多次点击提交。如果这样请求多次的话，那最终处理的数据结果就一定要保证统一，如支付场景。此时就需要通过保证业务幂等性方案来完成。
-
发表了文章 2023-05-04
重学Java之泛型的基本使用
本身是打算接着写JMM、JCStress，然后这两个是在公司闲暇的时候随手写的，没有推到Github上，但写点什么可以让我获得宁静的感觉，所性就从待办中拎了一篇文章，也就是这篇泛型。这篇文章来自于我朋友提出的一个问题，比如我在一个类里面声明了两个方法，两个方法只有返回类型是int，一个是Integer，像下面这样,能否通过编译:
-
发表了文章 2023-04-25
SpringBoot定时任务@Scheduled的多线程使用
@Scheduled是Spring框架中的一个注解，它可以用于配置定时任务，使得方法可以按照规定的时间间隔定时执行。在使用该注解时，我们可以指定任务的执行时间、循环周期、并发数等参数，从而实现定时任务的功能。在Spring Boot中，@Scheduled注解可以直接应用于方法上。
-
发表了文章 2023-04-18
Java对象的序列化和反序列化
Java 对象的序列化和反序列化是一种将对象转换成字节流并存储在硬盘或网络中，以及从字节流中重新加载对象的操作。Java 的序列化和反序列化提供了一种方便的方式，使得可以将对象在不同的应用程序之间进行交互。
-
发表了文章 2023-04-12
如何快速实现一个榜单排名的需求
可以看到使用rank()函数的时候相同的点赞数会返回相同的排名，排名会产生跳跃，最终的排名不是连续的 dense_rank()
-
发表了文章 2023-04-07
线上cpu报警的一次接口优化
春天到了大地都复苏了，沉寂了很久的cpu也开始慢慢复苏了，所谓前人埋坑后人填坑，伴随着阿里云监控报警，线上CPU使用率暴增，于是就开始了排查之路。
-
发表了文章 2023-04-04
玩转JUC工具，Java并发编程不再危机四伏
当今互联网应用普遍需要支持高并发访问，而Java作为一种广泛使用的编程语言，其并发编程能力对于实现高性能的应用非常重要。而Java的JUC（java.util.concurrent）并发工具就提供了许多实用的工具类和接口，可以让Java应用轻松实现高效的并发编程。
-
发表了文章 2023-03-28
Java项目是不是分布式，真有那么重要吗？
大概不知道从什么时候，「微服务」「分布式」这两个词又再次频繁出现在我的视线里。 「微服务」「分布式」在我刚毕业的时候还是比较关注的，那时候还入门了一把SpringCloud，写了一篇很长的文章，还是很顶的，有不少的大号都给我转载了，在知乎又获得了很多的赞。
-
发表了文章 2023-03-20
ThreadLocal源码分析
ThreadLocal，即线程局部变量。主要用于线程间数据隔离。这些变量在多线程环境下访问(通过get或set方法访问)时能保证各个线程里的变量相对独立于其他线程内的变量，ThreadLocal实例通常来说都是private static类型。ThreadLocal不是为了解决多线程访问共享变量，而是为每个线程创建一个单独的变量副本，提供了保持对象的方法和避免参数传递的复杂性。
-
发表了文章 2023-03-13
自动写代码？别闹了！
这几天，GitHub 上有个很火的插件在抖音刷屏了——Copilot。 这个神器有啥用呢？简单来讲，它就是一款由人工智能打造的编程辅助工具。 我们来看看它有啥用。
-
发表了文章 2023-03-10
Java中如何解析SQL语句、格式化SQL语句、生成SQL语句？
JSqlParser是一个用Java编写的SQL解析器，可以将SQL语句解析为Java对象，从而使开发人员能够轻松地分析、修改和重构SQL查询。
-
发表了文章 2023-03-07
为啥一个 main 方法就能启动项目
在 Spring Boot 出现之前，我们要运行一个 Java Web 应用，首先需要有一个 Web 容器（例如 Tomcat 或 Jetty），然后将我们的 Web 应用打包后放到容器的相应目录下，最后再启动容器。
-
发表了文章 2023-02-27
面试官：什么是双亲委派模型？
问题来了，为什么打印的不是“Bootstrap ClassLoader”而是 null 呢？ 这是因为启动类加载器（Bootstrap ClassLoader）是由 C++ 实现的，而这个 C++ 实现的类加载器在 Java 中是没有与之对应的类的，所以拿到的结果是 null。
-
发表了文章 2023-02-27
国内十大软件测试培训机构有哪些？线上线下培训机构都有
软件测试培训机构在当前的信息技术领域中扮演着非常重要的角色。培训机构可以提供系统的软件测试知识、实践技巧和实战项目经验，帮助学员快速掌握软件测试的各种技能，从而提高职业竞争力。 但由于我国软件测试培训机构相当多，要想找到真正有实力和口碑的机构并不容易。
-
发表了文章 2023-02-22
为什么很多公司都开始使用Go语言了？
最近和几个小伙伴们在写字节跳动第五届青训营后端组的大作业。 接近尾期了，是时候做一些总结了，那从什么地方开始呢？那就从我们为什么要选择Go语言开始吧~
-
发表了文章 2023-02-21
软件测试工资一般多少 最低7k，最高30k
在当前的信息技术领域中，软件测试已经成为了非常重要的一项工作。它是保证软件质量的一个重要环节，可以确保软件产品的正确性、完整性、可用性等方面的质量。
-
发表了文章 2023-02-14
聊透Spring bean的生命周期
在对于Spring的所有解读中，Bean的生命周期都可谓是重中之重，甚至还有人称Spring就是个管理Bean的容器。Bean的生命周期之所以这么重要，被反复提及，是因为Spring的核心能力，比如对象创建(IOC)、属性注入(DI)、初始化方法的调用、代理对象的生成(AOP)等功能的实现，都是在bean的生命周期中完成的。清楚了bean的生命周期，我们才能知道Spring的神奇魔法究竟是什么，是怎么一步步赋能，让原本普通的java对象，最终变成拥有超能力的bean的。
-
发表了文章 2023-02-07
Redis中的HotKey如何解决
对于三高系统，Redis是必须/必需的，当并发高到一定的程度就可能会出现HotKey的问题，今天我们来看下Redis中的HotKey如何解决。
-
发表了文章 2023-02-01
CompletableFuture实现异步编排
场景：电商系统中获取一个完整的商品信息可能分为以下几步：①获取商品基本信息 ②获取商品图片信息 ③获取商品促销活动信息 ④获取商品各种类的基本信息 等操作，如果使用串行方式去执行这些操作，假设每个操作执行1s，那么用户看到完整的商品详情就需要4s的时间，如果使用并行方式执行这些操作，可能只需要1s就可以完成。所以这就是异步执行的好处。
-
发表了文章 2023-01-17
方便实用！软件测试面试题及答案这里面都有
软件测试属于技术类工种，因此，面试环节上也要比其他岗位的多上一个环节，分别是日常面试以及技术类问题面试，前者大家临场发挥就能搞定，而后者的话，由于技术性强，再加上很多人容易紧张，从而导致面试的通过率降低，所以，不少想在年后开始找工作的软件测试工程师们，就想要知道哪里有比较齐全的软件测试面试题及答案可以用作面试加持？
-
发表了文章 2023-01-16
vue刷新当前页面
项目当中如果做新增/修改/删除等等操作通常情况下都需要刷新数据或者刷新当前页面. 思路
-
发表了文章 2023-01-12
一文get！软件测试面试技巧有这些！
在当今竞争激烈的软件测试职场中，想谋一份令他人羡慕、让自己欣喜若狂的工作，事先充分准备是十分必要的。 因此，这些软件测试的面试技巧，一定要记住，让你的面试通过率直线攀升，薪水也是蹭蹭上涨。
-
发表了文章 2023-01-11
真的看不下去了!!!字节的table组件写成啥了！
先不说别的，上两个arco design table的bug。本来是写react table组件，然后看源码学习思路，结果看的我真的很想吐槽。(其他组件我在学习源码上受益匪浅，尤其是工程化arco-cli那部分，我自己尝试写的轮子也是受到很多启发，这个吐槽并不是真的有恶意，我对arco和腾讯的tdeisgn是有期待的，因为ant一家独大太久了，很期待新鲜的血液)
-
发表了文章 2023-01-09
Google Aviator——轻量级 Java 表达式引擎实战
Drools（JBoss Rules ）是一个开源业务规则引擎，符合业内标准，速度快、效率高。业务分析师或审核人员可以利用它轻松查看业务规则，从而检验是否已编码的规则执行了所需的业务规则。
-
发表了文章 2023-01-04
【面试干货】软件测试面试题及答案，错过绝对心痛
对于很多软件测试新手来说，技术面试往往是整个面试体系里最让人头疼的部分，今天我为选取了软件测试面试中，一些经典的问题和答案，供大家参考使用。并且，还给你们奉上了一个免费的面试刷题小程序哟！拿走不谢～
-
发表了文章 2023-01-03
为啥count(*)会这么慢？
本没想着写这篇文章的，因为我觉得这个东西大多数有经验的开发遇到过，肯定也了解过相关的原因，但最近我看到有几个关注的技术公众号在推送相关的文章。实在令我吃惊！
-
发表了文章 2022-12-30
登录 代码中被植入了恶意删除操作，太狠了！
在交接的代码中做手脚进行删库等操作，之前只是网上听说的段子，没想到上周还真遇到了，并且亲自参与帮忙解决。
暂无更多信息
-
发表了文章
2025-08-06
理解 JavaScript 中的节流和防抖：实现 `throttle` 和 `debounce` 函数
-
发表了文章
2025-08-06
JavaScript 中 `apply`、`call` 和 `bind` 的具体理解与区别
-
发表了文章
2025-07-31
Java多任务编排技术
-
发表了文章
2025-07-29
精通Mysql锁系列
-
发表了文章
2025-07-23
Java对象的内存布局
-
发表了文章
2025-07-23
spring boot-MultipartFile 机制
-
发表了文章
2025-07-18
js删除对象属性
-
发表了文章
2025-07-15
深入理解Java虚拟机--类文件结构
-
发表了文章
2025-07-15
java通过自定义TraceId实现简单的链路追踪
-
发表了文章
2025-07-09
SpringBoot 3 + Flutter3 实战低代码运营管理
-
发表了文章
2025-07-09
java之通过Http下载文件
-
发表了文章
2025-07-04
go快速上手:golang中的反射
-
发表了文章
2025-07-02
Python中常见的关键字
-
发表了文章
2025-07-02
java中static关键字简介
-
发表了文章
2025-06-26
Go内存原理-GC原理
-
发表了文章
2025-06-24
Spring IOC 到底是什么?
-
发表了文章
2025-06-24
Spring拦截链的实现原理是什么？
-
发表了文章
2025-06-20
数据库运维：mysql 数据库迁移方法-mysqldump
-
发表了文章
2025-06-19
优化SpringBoot程序启动速度
-
发表了文章
2025-06-18
函数式接口
滑动查看更多
暂无更多信息
暂无更多信息