|
8月前
|
Java 测试技术 Linux
|

生产环境发布管理

本文介绍大型团队如何通过自动化部署平台实现多环境(dev/test/pre/prod)高效发布与运维。涵盖各环境职责、基于Jenkins+K8S的CI/CD流程、分支管理、一键发布及Skywalking日志链路追踪,提升发布效率与故障排查能力。

130 1
|
8月前
|
机器学习/深度学习 数据采集 人工智能
|

大模型训练方法与技术术语解释

预训练、微调、RLHF、思维链等技术共同构建大模型核心能力。预训练夯实语言基础,微调适配特定任务,RLHF对齐人类偏好,思维链提升推理,少/零样本实现快速迁移,指令微调增强指令理解,自监督利用海量文本,温度控制生成风格,蒸馏压缩模型规模,缩放定律指引性能增长路径。

748 0
|
8月前
|
消息中间件 存储 SQL
|

每日必会5

为确保消息不丢失,RabbitMQ通过生产者确认、消息持久化和消费者确认机制保障。生产者发送消息后根据返回结果判断投递状态;消息及队列均持久化存储;消费者处理完成后需返回ACK。我们采用auto模式+重试机制提升可靠性。

215 0
|
8月前
|
存储 缓存 Java
|

SpringCloud自定义注解

本文介绍Java自定义注解的实现与应用,结合Spring AOP与过滤器,演示日志、权限控制等场景。通过@Target、@Retention等元注解定义注解,配合AOP或拦截器实现功能增强,适用于登录验证、数据校验等,提升代码可读性与复用性。(238字)

622 0
|
8月前
|
自然语言处理 监控
|

大模型评估与调试术语解释3

困惑度衡量语言模型预测能力,越低越好;过拟合指模型记背训练数据而泛化差;泛化能力体现模型应对新任务的适应性;人工评估是生成质量“金标准”;BLEU、ROUGE分别基于n-gram和召回率评估生成文本相似度;混淆矩阵用于分类任务的细粒度错误分析。各项指标需结合使用以全面评估大模型性能。(238字)

289 0
|
8月前
|
前端开发 Java 数据库
|

低代码技术架构

后端采用Spring Boot + Spring Cloud Alibaba微服务架构,基于Java 8+/17、Maven、MybatisPlus、Shiro+Jwt、Redis、Druid、Nacos等技术;前端使用Vue3.0 + TypeScript + Vite5 + Ant-Design-Vue4,支持权限控制与动态菜单。需IDEA、WebStorm/Vscode、Node 20+等开发环境。

143 0
|
8月前
|
Linux 网络安全 开发工具
|

每日必会3

熟悉Docker部署,掌握docker run、Dockerfile及docker-compose集群部署;熟练使用镜像与容器相关命令如pull、push、run、exec等;常用Linux命令包括ls、cd、grep、ps、top、chmod、find、ssh、scp、wget等,排查日志常用cat、grep、vim及管道组合查询。

239 0
|
8月前
|
存储 NoSQL 关系型数据库
|

MongoDB相关概念

MongoDB是一款高性能、无模式的文档型数据库,适用于数据量大、读写频繁、事务要求不高的场景。广泛应用于社交、游戏、物流、物联网和视频直播等领域,支持海量数据存储、水平扩展、高可用及复杂查询,尤其适合需要快速迭代和灵活数据模型的应用。相比MySQL,其开发运维成本更低,是Web2.0时代理想的数据存储解决方案。

138 0
|
8月前
|
敏捷开发 Dubbo Java
|

需求开发人日评估

随着敏捷开发在国内的风靡,越来越多的团队开始推行敏捷开发,这其中有一个关键事项就是:工时的人日评估。简单来说就是:项目经理会让开发人员自己评估自己负责的模块大概需要的开发周期。 人日,即按照1人几天完成,如1/人日:表示这个需求需要1个人1天完成,如果有2个人一起做,可能就是0.5天(需求开发一般1+1 < 2,因为有代码合并的兼容性要处理)。

139 0
|
8月前
|
SQL Dubbo Java
|

线程池:故障梳理总结

本文从故障与技术双重视角,总结线程池满导致服务不可用的常见原因及应对策略。涵盖数据库慢查询、连接池配置不当、超时设置缺失等典型问题,结合真实案例分析,提出fast-fail、流控、背压、合理重试等最佳实践,助力开发者提升系统稳定性与容错能力。

184 0
|
8月前
|
存储 NoSQL 关系型数据库
|

MongoDB索引知识

MongoDB索引通过B树结构提升查询效率,避免全表扫描。支持单字段、复合、地理空间、文本及哈希索引,适用于等值、范围、排序、全文检索等场景,显著提升大数据量下的查询性能。

109 0
|
8月前
|
NoSQL Linux Shell
|

MongoDB单机部署

本文介绍MongoDB在Windows与Linux系统的安装启动方法,包括下载32/64位安装包、解压配置、命令行或配置文件方式启动服务,并设置数据目录与端口。同时说明如何通过mongo shell连接数据库,使用Compass图形化工具管理,以及Linux下的部署、防火墙配置和安全关闭服务等操作,助你快速搭建MongoDB运行环境。(238字)

961 0
|
8月前
|
SQL 缓存 Java
|

MyBatis

MyBatis配置优先级:方法参数 > resource/url > properties体内。支持多环境、事务管理(JDBC/MANAGED),XML实现一对一、一对多关联映射,分页支持逻辑与物理方式,推荐BatchExecutor批量操作,一级缓存默认开启,二级缓存需手动配置。

104 1
|
8月前
|
XML Java 数据库连接
|

MyBatis映射关系(1-1 1-n n-n)

本文介绍了MyBatis中四种核心关联映射:一对一(属性与字段映射)、一对多(如用户关联多个角色,使用`<collection>`)、多对一(如博客关联作者,使用`<association>`)和多对多(通过中间类实现,如用户与部门)。适用于解决实体间复杂关系映射问题。

388 1
|
8月前
|
运维 Devops 开发工具
|

生产环境缺陷管理

在一个大型团队中,bug协同管理是一件复杂的事情,发布经理要追版本bug,运维同学要评估bug影响范围,开发同学要在多个开发分支同时修复同一个bug,很容易出现bug漏提交、漏确认等生产安全问题。 本团队也出现过一起不同分支漏提交bugfix导致的一起P1故障(最高等级),该bug在生产环境进行hotfix时,漏掉了少量集群导致该二次故障。举个相似的例子,某品牌汽车发现潜在安全隐患进行召回,但却遗漏了某个小地区,偏偏在遗漏的地区,发生了安全事故导致有人员伤亡。 我们基于go-git开发实现了通用化的git-poison,通过分布式源码管理bug追溯、查询,可复制性高,适用于所有git仓库,与分

111 0
|
8月前
|
存储 JSON NoSQL
|

MongoDB常用命令

本文介绍如何使用MongoDB存储文章评论数据,涵盖数据库与集合的创建、删除,文档的增删改查、批量操作、投影查询、排序分页及更新修饰符的使用,帮助快速掌握MongoDB基本操作。

307 1
|
8月前
|
SQL 运维 分布式计算
|

如何做好SQL质量监控

在 SLS 中,用户可以通过 SQL 对日志数据(结构化、半结构化、无结构化)进行查询和分析。随着用户对 SQL 使用程度的不断加深,越来越多的用户希望了解自己使用 SQL 分析时的服务反馈(如请求量、成功率、数据量等等),以便对数据和分析行为进行精细管理或优化治理。 “现在我这个 Project 的 SQL 并发是多少?” “奇怪,我 SQL 请求并不多,为什么会有这么多 SQL 请求,是哪个业务线(Logstore)用的?” “我想了解我在 SLS 中使用 SQL 分析的整体情况,请问有什么监控数据或日志可以查看? 这些都是来自 SLS 真实用户的声音,可以看出用户对于自身 SQL 分析行

68 0
|
8月前
|
NoSQL Java MongoDB
|

MongoDB实战演练

本项目基于SpringDataMongoDB实现头条文章评论功能,涵盖增删改查、按文章ID查询、评论点赞等需求。通过MongoTemplate优化操作效率,结合索引提升查询性能,构建高效稳定的评论微服务模块。

98 1
|
8月前
|
SQL Java 关系型数据库
|

MyBatis分页

本文介绍MyBatis分页实现方式:自带RowBounds为内存分页,数据量大易溢出;PageHelper等插件通过SQL改写实现物理分页,支持多种数据库;还可通过数组subList或自定义拦截器实现。总结:大数据推荐物理分页,优先于逻辑分页。(238字)

107 2
|
8月前
|
XML Java 数据格式
|

SpringBoot@Configuration使用总结

被@Configuration标注的类视为Spring配置类,等同于XML配置文件。通过@Bean注册Bean,结合AnnotationConfigApplicationContext可启动IOC容器,加载并管理Bean实例,包括配置类自身。

152 3
|
8月前
|
Java 测试技术 API
|

从Google线上故障,谈灰度发布的重要性

2025年6月12日,Google Cloud因未灰度发布的新配置引发空指针异常,导致全球服务中断7小时。故障暴露了缺乏配置灰度与错误处理的严重风险。本文结合Nacos等配置中心的IP/标签灰度方案,探讨如何通过渐进式发布保障系统稳定性,避免类似重大事故。

189 0
|
8月前
|
缓存 Java 数据库连接
|

MyBatis常见配置

MyBatis配置优先级:方法参数 > resource/url > properties内。常用配置包括缓存、延迟加载、主键生成等。支持多环境配置,通过environments指定,默认使用development。事务管理支持JDBC和MANAGED,与Spring集成时由Spring接管。

286 3
|
8月前
|
监控 算法 Unix
|

Thread.sleep(0) 到底有什么用(读完就懂

本文深入解析 `Thread.Sleep` 的底层机制,结合操作系统调度原理,探讨其在多线程环境中的真实行为。通过“分蛋糕”类比,形象说明Windows抢占式调度的特点,澄清对 `Sleep(1000)` 和 `Sleep(0)` 的常见误解。重点指出:`Sleep(0)` 并非无意义,而是主动触发CPU重新竞争,让出执行机会,避免界面假死,具有重要实际价值。

120 0
|
8月前
|
Java Sentinel 微服务
|

服务保护、分布式事务

本课程聚焦微服务保护核心技能,涵盖雪崩问题、熔断降级、限流隔离等机制,学习Sentinel实现熔断、降级、限流策略配置,掌握FallbackFactory降级逻辑编写,理解CAP原理与Seata分布式事务,全面提升微服务高可用设计能力。

166 0
|
8月前
|
消息中间件 Java UED
|

异步消息组件MQ基础

本课程学习MQ的应用场景及RabbitMQ入门开发,掌握同步与异步调用区别,理解工作队列、发布订阅模型及各类交换机(Fanout、Direct、Topic)特性,学会解决消息堆积、应用惰性与优先级队列,并在商城项目中实践MQ技术。

171 0
|
8月前
|
消息中间件 算法 网络协议
|

选举机制源码分析

本文深入分析ZooKeeper中FastLeaderElection选举算法的实现原理与源码结构,涵盖Election接口、核心类FastLeaderElection及其内部类Notification、ToSend、Messenger的工作机制,详细解析leader选举流程、投票比较规则及多线程协作过程,帮助理解ZooKeeper集群一致性保障的核心机制。(238字)

140 0
|
8月前
|
缓存 安全 Java
|

Watcher机制(二)WatchManager

本文深入分析ZooKeeper中WatchManager类的源码,重点解析其如何通过watchTable和watch2Paths两个映射管理Watcher与节点路径的关联关系,涵盖addWatch、removeWatcher、triggerWatch等核心方法的同步机制与执行流程,揭示事件监听与触发的底层原理。

117 0
|
8月前
|
Java
|

Watcher机制(三)之ZooKeeper

本文深入分析ZooKeeper类的源码,涵盖其内部类、属性、构造函数及核心方法。重点解析Watcher机制中的注册流程,以及create、delete、exists等同步与异步操作的实现原理,揭示ZooKeeper客户端与服务端交互的核心逻辑。

277 0
|
8月前
|
关系型数据库 应用服务中间件 nginx
|

容器化部署引擎Docker

Docker是一种开源容器化技术,通过镜像打包应用及依赖,实现跨环境一致运行。它利用容器隔离机制解决开发、测试、生产环境差异问题,相比虚拟机更轻量、启动更快。本文介绍Docker核心概念、架构、镜像与容器操作、数据卷挂载、Dockerfile自定义镜像及Compose编排微服务集群,并搭建私有镜像仓库,提升部署效率与系统可移植性。(239字)

111 0
|
8月前
|
监控 Java Sentinel
|

服务保护、分布式事务

本课程讲解微服务保护机制,重点学习雪崩问题及其解决方案。通过Sentinel实现熔断、降级、限流与线程隔离,掌握微服务高可用核心技术,保障系统稳定性。

129 0
|
8月前
|
消息中间件 存储 Java
|

异步消息组件MQ高级

本文围绕消息中间件(如RabbitMQ)的可靠性机制展开,涵盖生产者重试与确认、消费者确认、消息持久化、失败处理、幂等性及延迟消息等核心内容。重点讲解如何通过重试机制、Confirm/Return确认模式保障消息发送可靠;通过手动或自动ACK确保消费可靠性;并结合定时任务实现失败消息重发,最终构建高可用的消息系统。

485 0
|
8月前
|
消息中间件 Java 数据安全/隐私保护
|

RabbitMQ集群部署

本文介绍RabbitMQ集群部署,包括普通模式与高可用方案。首先通过Docker搭建三节点集群,配置Erlang Cookie和rabbitmq.conf实现节点通信;接着演示队列创建、数据共享及宕机测试,发现普通模式无高可用能力;进而引入镜像模式,通过策略设置实现队列多副本,支持主从切换;最后重点介绍3.8版本后推荐的仲裁队列,其具备自动选举、强一致性等优势,配置更简便,是实现高可用的首选方案。

362 0
|
8月前
|
SQL Java 数据库连接
|

持久层框架MyBatisPlus

MyBatisPlus是MyBatis的增强工具,简化单表CRUD操作,支持条件构造器、分页、逻辑删除等功能,提升开发效率。

131 0
|
8月前
|
负载均衡 Java 应用服务中间件
|

微服务网关与配置中心

本课程学习微服务网关核心功能,包括使用Spring Cloud Gateway实现路由转发、负载均衡及全局过滤器应用。掌握通过Nacos进行服务发现与配置管理,实现统一鉴权、用户身份校验及请求头信息传递,并完成前后端联调与配置热更新等实战操作。

219 0
|
8月前
|
消息中间件 Java 数据安全/隐私保护
|

异步消息组件MQ基础

本课程介绍RabbitMQ在微服务中的应用,涵盖MQ的应用场景、异步调用与同步调用的区别、RabbitMQ的安装与配置、消息收发入门程序、工作队列、发布订阅模型及多种交换机(fanout、Direct、Topic)特性,同时讲解惰性队列、优先级队列、消息堆积处理及商城项目中的实际应用,帮助学员掌握消息中间件的核心技术与实践能力。

184 0
|
8月前
|
Java 数据库 微服务
|

微服务服务注册与发现

本课程以黑马商城项目为案例,系统讲解单体架构与微服务架构的优缺点,深入剖析微服务、分布式及云原生架构的核心理念与技术实现。通过搭建项目环境、拆分商品与购物车服务、使用Nacos实现服务注册发现、OpenFeign远程调用等实践,掌握微服务开发全流程。

88 0
|
8月前
|
存储 搜索推荐 Java
|

ES分布式搜索引擎高级

本课程涵盖搜索高级功能,包括使用function_score修改文档得分、深度分页方案(search_after)、地理坐标查询、Java Client实现高亮与聚合查询,并深入讲解同义词处理、自动补全及nested类型的应用,助力完善商城项目搜索功能。

184 0
|
8月前
|
存储 搜索推荐 数据库
|

ES分布式搜索引擎入门

本课程学习Elasticsearch核心知识,包括倒排索引原理、IK分词器使用、Java Client操作索引的增删改查、批量导入、搜索查询(Term、全文、布尔查询)及排序分页等技能,掌握其在海量数据搜索中的高性能优势与实际应用。

162 0
|
8月前
|
关系型数据库 MySQL Java
|

开发环境搭建

配置开发环境是高效学习的第一步。要求电脑内存16G以上(推荐32G),建议配备便携显示器分屏开发。下载并安装虚拟机(CentOS 7,IP:192.168.101.68)、IDEA、Maven、Git等工具,导入课程提供的虚拟机与资料,配置SSH远程连接及本地仓库。通过Gitee Fork黑马商城项目,使用DataGrip创建数据库并导入SQL,启动Docker服务与Nginx运行前端,完成整体环境搭建,确保开发顺利进行。

150 0
|
8月前
|
NoSQL Redis
|

Redis集群伸缩,转移插槽失败

Redis集群出现配置不一致,提示slot 0处于导入状态。需登录对应实例,执行`cluster setslot 0 stable`命令,将异常slot状态恢复稳定,修复后方可进行 rebalance 操作。注意根据实际slot ID调整命令参数。

76 0
|
8月前
|
缓存 JSON 前端开发
|

什么是跨域

CORS(跨域资源共享)是W3C标准,允许浏览器向跨源服务器发送XMLHttpRequest请求,突破AJAX同源限制。其核心机制由浏览器自动完成,需服务器支持相应CORS头。请求分为简单与非简单两类:简单请求直接发送,携带Origin头;非简单请求先发起OPTIONS预检,确认许可后才执行。服务器通过Access-Control-Allow-Origin等字段控制跨域权限,并可配置凭证、头部字段及缓存时间。相比仅支持GET的JSONP,CORS更灵活安全,适用于现代浏览器环境。

110 0
|
8月前
|
SQL Java 数据库连接
|

持久层框架MyBatisPlus

MyBatisPlus是MyBatis的增强工具,简化单表CRUD操作,通过继承BaseMapper即可实现增删改查。支持条件构造器(如QueryWrapper)、分页插件、代码生成器等功能,提升开发效率,降低SQL冗余,广泛应用于企业级项目中。

162 0
|
8月前
|
Linux 数据安全/隐私保护 虚拟化
|

虚拟机安装(CentOS7)

本文介绍了搭建CentOS 7虚拟机的准备工作及安装步骤,包括CentOS 7镜像和VMware Workstation的获取方式(提供官网及百度云链接),并指导使用VMware创建虚拟机,推荐参考教程完成安装。安装后默认登录用户为root,密码由用户自设。

1021 0
|
8月前
|
缓存 Java Nacos
|

@RefreshScope热更新原理

本文深入解析Spring Cloud中@RefreshScope注解实现配置热更新的原理。通过分析其组合注解特性,重点探讨@Scope("refresh")如何借助动态代理与缓存机制,在配置变更时触发Bean重新创建,从而实现配置的实时刷新。

161 0
|
8月前
|
存储 算法 Java
|

持久化FileTxnLog

本文深入分析Zookeeper持久化机制的源码实现,重点解析TxnLog与FileTxnLog类。涵盖事务日志结构、append追加、commit提交、truncate截断等核心操作,详解日志格式、zxid管理及文件处理流程,揭示数据持久化的底层原理。

128 0
|
8月前
|
存储 Java
|

序列化

本文从源码角度解析Zookeeper的序列化机制,重点分析jute包中的InputArchive和OutputArchive接口及其实现类,涵盖基本类型与记录的序列化过程,揭示其在网络通信与数据存储中的核心作用。

108 0
|
8月前
|
存储 关系型数据库 MySQL
|

微服务原理篇(XXLJOB-幂等-MySQL)

本文介绍了XXL-JOB任务调度的优势、组成结构及热点商品缓存更新任务的实现,涵盖幂等性概念与解决方案,并深入解析了MySQL存储引擎特性、索引失效场景、回表与覆盖索引原理以及SQL调优和分库分表策略。

364 0
|
8月前
|
存储 数据库
|

持久化FileTxnSnapLog

本文分析ZooKeeper中FileTxnSnapLog源码,其封装TxnLog与SnapShot,实现事务日志和快照的持久化管理。通过restore和save方法完成数据恢复与快照存储,结合DataTree维护内存数据树,体现典型的组合设计思想。

131 0
|
8月前
|
负载均衡 Java 应用服务中间件
|

微服务网关与配置中心 学习目标

本课程学习Spring Cloud Gateway网关的实现,掌握路由配置、负载均衡、内置过滤器(如StripPrefix)及全局过滤器的使用。重点包括自定义身份校验过滤器、JWT鉴权流程、微服务间用户信息传递,并结合Nacos实现服务发现与统一配置管理,完成前后端联调与权限控制。

242 0
|
8月前
|
canal 缓存 关系型数据库
|

微服务原理篇(Canal-Redis)

本文介绍了ES索引同步的常见方案,重点讲解Canal+MQ数据同步机制。通过解析MySQL的binlog日志,Canal模拟slave伪装接入主库,实现增量数据捕获,并结合RabbitMQ保证消息顺序性地同步至Elasticsearch。同时探讨了缓存一致性问题,提出使用分布式锁(如Redis)控制并发写操作,避免双写不一致。还涵盖Redis持久化、集群模式、过期淘汰策略及缓存三剑客(穿透、雪崩、击穿)的解决方案,系统梳理了高并发场景下的数据同步与缓存保障技术体系。

935 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69958
内容
128
活动
440116
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务