|
4月前
|
存储 缓存 运维
|

一场FullGC故障排查

本文记录了一次线上CPU使用率异常升高的排查过程,最终定位为JVM频繁Full GC导致。通过对比机器监控与JVM堆内存监控,发现根本原因是处理Excel样本时大对象长期驻留内存,引发内存膨胀。结合JProfiler分析堆 dump 文件,定位到List<Map>结构存储导致内存占用激增,空间效率不足15%。提出“激进治疗”(数据外存化)与“保守治疗”(减少冗余字段)两类解决方案,并总结了排查思路:优先排查Full GC、关注JVM而非机器内存、利用工具精准定位大对象,避免被表象误导。

97 0
|
4月前
|
安全 数据安全/隐私保护 微服务
|

SpringSecurity权限管理

权限管理包含认证与授权两大核心:认证校验用户身份(登录),授权分配角色权限,控制可访问的资源与操作。通过ACL、RBAC等通用模型,构建安全可靠的系统访问控制机制,保障数据与流程安全。

29 0
|
4月前
|
关系型数据库 MySQL 数据库
|

用 Python 实现 MySQL 数据库定时自动备份

本文介绍如何用Python脚本实现MySQL数据库的自动化备份。通过调用`mysqldump`工具,结合时间戳命名、文件压缩与定时任务(如crontab),可轻松实现“无人值守”备份。涵盖配置修改、安全建议及日志管理,提升备份效率与可靠性,适用于日常开发与生产环境。

172 0
|
4月前
|
存储 负载均衡 算法
|

负载均衡算法

随机调用适用于性能均衡的服务器,可升级为加权随机以适配性能差异。轮询按序调用,支持加权提升调度精度,如权重[3,1]对应调用序列AAABA。最小活跃数优先选择负载低的节点,动态均衡负载。源地址哈希通过IP取模确保同一IP访问固定节点。一致性哈希将节点与请求映射至Hash环,实现节点变动时最小化数据迁移,保障服务稳定。

90 4
|
4月前
|
安全 数据安全/隐私保护 微服务
|

SpringSecurity权限管理

权限管理涵盖认证与授权:认证验证用户身份(如登录),授权分配角色权限,控制资源访问。通过ACL、RBAC等模型,构建安全的访问控制机制,保障系统数据与流程安全,防止越权操作与信息泄露。(238字)

68 0
|
4月前
|
前端开发 程序员
|

SpringCloud常见注解及使用说明

本文介绍了SpringMVC中@RequestMapping注解的作用及原理,它用于将HTTP请求映射到控制器方法,实现前后端接口路径对应。并通过@GetMapping等派生注解简化常用请求类型处理,提升开发效率。

352 1
|
4月前
|
存储 缓存 Java
|

SpringCloud自定义注解

本文介绍Java自定义注解的实现与应用,结合Spring AOP与过滤器,演示日志处理、权限控制等场景。通过@Target、@Retention等元注解定义注解,并在Controller中结合AOP或拦截器实现功能增强,提升代码可读性与复用性。(238字)

53 0
|
4月前
|
消息中间件 弹性计算 决策智能
|

五、实战演练:三步构建高可靠多智能体应用

本方案基于阿里云ECS与RocketMQ,构建多智能体协同系统,实现天气查询与行程规划。通过一键部署资源、创建Topic/Group、发布智能体应用三步,快速搭建支持异步通信的Agent架构。用户输入需求后,SupervisorAgent协调WeatherAgent和TravelAgent完成任务,全程可通过RocketMQ追踪消息轨迹,验证执行流程。

167 0
|
4月前
|
NoSQL Java MongoDB
|

MongoDB实战演练

本项目基于SpringDataMongoDB实现头条文章评论功能,涵盖增删改查、按文章ID查询及评论点赞。通过MongoTemplate优化操作效率,结合索引提升查询性能,构建高效稳定的评论微服务模块。

124 0
|
4月前
|
设计模式 Linux 开发工具
|

每日必会3

熟悉Docker部署,掌握docker run、Dockerfile、docker-compose等;熟练使用镜像与容器相关命令。Linux常用命令如ls、cd、grep、ps、top、chmod、find、ssh等操作熟练,查日志常用cat、grep、vim及管道组合。了解SpringMVC执行流程、设计模式与常用注解。

66 0
|
4月前
|
前端开发 NoSQL Java
|

低代码IDEA启动项目

本文介绍如何在IDEA中启动Jeecg-Boot前后端项目。先启动Java后端:初始化MySQL与Redis,安装Maven依赖,修改数据库及Redis配置,运行主类启动服务;再启动Vue3前端:安装pnpm/yarn依赖,配置代理与接口地址,执行dev命令启动前端,访问http://localhost:3100,使用admin/123456登录系统。

147 0
|
4月前
|
人工智能 自然语言处理 API
|

全面认识MCP:大模型连接真实世界的“USB-C接口”

MCP(模型上下文协议)是AI时代的“万能接口”,由Anthropic提出,旨在统一大模型与工具、数据源的连接标准。它简化集成、提升任务处理能力,支持多步流程与安全合规,推动AI智能体从对话走向行动,正重塑全球AI应用生态。

206 0
|
4月前
|
前端开发 Java 数据库
|

低代码技术架构

后端采用Spring Boot + Spring Cloud Alibaba微服务架构,基于Java 8+/17、Maven、MybatisPlus、Shiro+Jwt、Redis、Druid、Nacos等技术;前端使用Vue3.0 + TypeScript + Vite5 + Ant-Design-Vue4,支持权限控制与动态菜单。需IDEA、WebStorm/Vscode、Node 20+等开发环境。

83 0
|
4月前
|
存储 JSON NoSQL
|

MongoDB常用命令

本文介绍如何使用MongoDB存储文章评论数据,涵盖数据库与集合的创建、文档的增删改查、批量操作、投影查询、排序分页及更新修饰符等基本操作,助你快速掌握MongoDB应用。

26 0
|
4月前
|
消息中间件 存储 人工智能
|

基于 RocketMQ LiteTopic 打造企业级 Session 管理

AI场景下,Session需满足低延迟、时序性、隔离性与上下文压缩四大要求。基于RocketMQ LiteTopic,实现会话持久化、断点恢复、多会话隔离与流量削峰,保障会话不丢失、可追溯、高并发稳定,助力企业级多智能体系统构建。(238字)

112 0
|
4月前
|
人工智能 JSON 数据挖掘
|

大模型应用开发中MCP与Function Call的关系与区别

MCP与Function Call是大模型应用的两大关键技术。MCP为模型与外部工具提供标准化通信协议,实现跨模型、跨平台集成;Function Call则是模型调用外部函数的内置机制。前者如“蓝牙协议”,支持多设备互联,后者像“语音助手”,限于单机操作。两者在功能上互补:MCP支持工具热插拔、权限控制与远程调用,适用于企业级复杂系统;Function Call开发简单,适合快速验证单一模型能力。未来趋势将走向融合,形成“模型解析-协议传输-工具执行”的分层架构,推动AI应用生态标准化发展。

289 0
|
4月前
|
机器学习/深度学习 存储 自然语言处理
|

大模型基础概念术语解释

大语言模型(LLM)基于Transformer架构,通过海量文本训练,具备强大语言理解与生成能力。其核心组件包括注意力机制、位置编码与嵌入层,支持文本分割为Token进行处理。参数量达十亿乃至万亿级,展现涌现与泛化能力,能完成多任务推理。混合专家模型(MoE)提升效率与扩展性,推动大模型持续发展。(237字)

489 0
|
4月前
|
消息中间件 人工智能 Linux
|

基于 RocketMQ 构建 高可靠 A2A 通信通道

A2A协议由Google发起,旨在实现跨厂商AI智能体的标准化通信。通过RocketMQ异步支持,提供高可靠、开箱即用的多智能体协同方案,助力构建开放、可扩展的智能体生态体系。

101 0
|
4月前
|
机器学习/深度学习 人工智能 安全
|

大模型伦理与公平性术语解释

简介:大语言模型中的偏见源于训练数据,可能导致性别、种族等歧视,影响公平性。公平性要求模型无差别对待各群体,需通过数据与算法去偏。可解释性助力理解模型决策,提升信任与改进。安全对齐防止有害输出,人类对齐确保价值观一致,隐私保护防范数据泄露。这些是构建负责任AI的核心要素,需技术、伦理与法规协同推进。(238字)

105 0
|
4月前
|
Java 测试技术 Linux
|

生产环境发布管理

本文介绍大型团队如何通过自动化部署平台实现多环境(dev/test/pre/prod)高效发布与运维。涵盖各环境职责、基于Jenkins+K8S的CI/CD流程、分支管理、一键发布及Skywalking日志链路追踪,提升发布效率与故障排查能力。

65 1
|
4月前
|
机器学习/深度学习 数据采集 人工智能
|

大模型训练方法与技术术语解释

预训练、微调、RLHF、思维链等技术共同构建大模型核心能力。预训练夯实语言基础,微调适配特定任务,RLHF对齐人类偏好,思维链提升推理,少/零样本实现快速迁移,指令微调增强指令理解,自监督利用海量文本,温度控制生成风格,蒸馏压缩模型规模,缩放定律指引性能增长路径。

331 0
|
4月前
|
消息中间件 存储 SQL
|

每日必会5

为确保消息不丢失,RabbitMQ通过生产者确认、消息持久化和消费者确认机制保障。生产者发送消息后根据返回结果判断投递状态;消息及队列均持久化存储;消费者处理完成后需返回ACK。我们采用auto模式+重试机制提升可靠性。

79 0
|
4月前
|
存储 缓存 Java
|

SpringCloud自定义注解

本文介绍Java自定义注解的实现与应用,结合Spring AOP与过滤器,演示日志、权限控制等场景。通过@Target、@Retention等元注解定义注解,配合AOP或拦截器实现功能增强,适用于登录验证、数据校验等,提升代码可读性与复用性。(238字)

148 0
|
4月前
|
自然语言处理 监控
|

大模型评估与调试术语解释3

困惑度衡量语言模型预测能力,越低越好;过拟合指模型记背训练数据而泛化差;泛化能力体现模型应对新任务的适应性;人工评估是生成质量“金标准”;BLEU、ROUGE分别基于n-gram和召回率评估生成文本相似度;混淆矩阵用于分类任务的细粒度错误分析。各项指标需结合使用以全面评估大模型性能。(238字)

112 0
|
4月前
|
前端开发 Java 数据库
|

低代码技术架构

后端采用Spring Boot + Spring Cloud Alibaba微服务架构,基于Java 8+/17、Maven、MybatisPlus、Shiro+Jwt、Redis、Druid、Nacos等技术;前端使用Vue3.0 + TypeScript + Vite5 + Ant-Design-Vue4,支持权限控制与动态菜单。需IDEA、WebStorm/Vscode、Node 20+等开发环境。

70 0
|
4月前
|
Linux 网络安全 开发工具
|

每日必会3

熟悉Docker部署,掌握docker run、Dockerfile及docker-compose集群部署;熟练使用镜像与容器相关命令如pull、push、run、exec等;常用Linux命令包括ls、cd、grep、ps、top、chmod、find、ssh、scp、wget等,排查日志常用cat、grep、vim及管道组合查询。

55 0
|
4月前
|
存储 NoSQL 关系型数据库
|

MongoDB相关概念

MongoDB是一款高性能、无模式的文档型数据库,适用于数据量大、读写频繁、事务要求不高的场景。广泛应用于社交、游戏、物流、物联网和视频直播等领域,支持海量数据存储、水平扩展、高可用及复杂查询,尤其适合需要快速迭代和灵活数据模型的应用。相比MySQL,其开发运维成本更低,是Web2.0时代理想的数据存储解决方案。

44 0
|
4月前
|
敏捷开发 Dubbo Java
|

需求开发人日评估

随着敏捷开发在国内的风靡,越来越多的团队开始推行敏捷开发,这其中有一个关键事项就是:工时的人日评估。简单来说就是:项目经理会让开发人员自己评估自己负责的模块大概需要的开发周期。 人日,即按照1人几天完成,如1/人日:表示这个需求需要1个人1天完成,如果有2个人一起做,可能就是0.5天(需求开发一般1+1 < 2,因为有代码合并的兼容性要处理)。

63 0
|
4月前
|
SQL Dubbo Java
|

线程池:故障梳理总结

本文从故障与技术双重视角,总结线程池满导致服务不可用的常见原因及应对策略。涵盖数据库慢查询、连接池配置不当、超时设置缺失等典型问题,结合真实案例分析,提出fast-fail、流控、背压、合理重试等最佳实践,助力开发者提升系统稳定性与容错能力。

81 0
|
4月前
|
存储 NoSQL 关系型数据库
|

MongoDB索引知识

MongoDB索引通过B树结构提升查询效率,避免全表扫描。支持单字段、复合、地理空间、文本及哈希索引,适用于等值、范围、排序、全文检索等场景,显著提升大数据量下的查询性能。

47 0
|
4月前
|
NoSQL Linux Shell
|

MongoDB单机部署

本文介绍MongoDB在Windows与Linux系统的安装启动方法,包括下载32/64位安装包、解压配置、命令行或配置文件方式启动服务,并设置数据目录与端口。同时说明如何通过mongo shell连接数据库,使用Compass图形化工具管理,以及Linux下的部署、防火墙配置和安全关闭服务等操作,助你快速搭建MongoDB运行环境。(238字)

370 0
|
4月前
|
SQL 缓存 Java
|

MyBatis

MyBatis配置优先级:方法参数 > resource/url > properties体内。支持多环境、事务管理(JDBC/MANAGED),XML实现一对一、一对多关联映射,分页支持逻辑与物理方式,推荐BatchExecutor批量操作,一级缓存默认开启,二级缓存需手动配置。

46 1
|
4月前
|
XML Java 数据库连接
|

MyBatis映射关系(1-1 1-n n-n)

本文介绍了MyBatis中四种核心关联映射:一对一(属性与字段映射)、一对多(如用户关联多个角色,使用`<collection>`)、多对一(如博客关联作者,使用`<association>`)和多对多(通过中间类实现,如用户与部门)。适用于解决实体间复杂关系映射问题。

151 1
|
4月前
|
运维 Devops 开发工具
|

生产环境缺陷管理

在一个大型团队中,bug协同管理是一件复杂的事情,发布经理要追版本bug,运维同学要评估bug影响范围,开发同学要在多个开发分支同时修复同一个bug,很容易出现bug漏提交、漏确认等生产安全问题。 本团队也出现过一起不同分支漏提交bugfix导致的一起P1故障(最高等级),该bug在生产环境进行hotfix时,漏掉了少量集群导致该二次故障。举个相似的例子,某品牌汽车发现潜在安全隐患进行召回,但却遗漏了某个小地区,偏偏在遗漏的地区,发生了安全事故导致有人员伤亡。 我们基于go-git开发实现了通用化的git-poison,通过分布式源码管理bug追溯、查询,可复制性高,适用于所有git仓库,与分

46 0
|
4月前
|
存储 JSON NoSQL
|

MongoDB常用命令

本文介绍如何使用MongoDB存储文章评论数据,涵盖数据库与集合的创建、删除,文档的增删改查、批量操作、投影查询、排序分页及更新修饰符的使用,帮助快速掌握MongoDB基本操作。

97 1
|
4月前
|
SQL 运维 分布式计算
|

如何做好SQL质量监控

在 SLS 中,用户可以通过 SQL 对日志数据(结构化、半结构化、无结构化)进行查询和分析。随着用户对 SQL 使用程度的不断加深,越来越多的用户希望了解自己使用 SQL 分析时的服务反馈(如请求量、成功率、数据量等等),以便对数据和分析行为进行精细管理或优化治理。 “现在我这个 Project 的 SQL 并发是多少?” “奇怪,我 SQL 请求并不多,为什么会有这么多 SQL 请求,是哪个业务线(Logstore)用的?” “我想了解我在 SLS 中使用 SQL 分析的整体情况,请问有什么监控数据或日志可以查看? 这些都是来自 SLS 真实用户的声音,可以看出用户对于自身 SQL 分析行

28 0
|
4月前
|
NoSQL Java MongoDB
|

MongoDB实战演练

本项目基于SpringDataMongoDB实现头条文章评论功能,涵盖增删改查、按文章ID查询、评论点赞等需求。通过MongoTemplate优化操作效率,结合索引提升查询性能,构建高效稳定的评论微服务模块。

45 1
|
4月前
|
SQL Java 关系型数据库
|

MyBatis分页

本文介绍MyBatis分页实现方式:自带RowBounds为内存分页,数据量大易溢出;PageHelper等插件通过SQL改写实现物理分页,支持多种数据库;还可通过数组subList或自定义拦截器实现。总结:大数据推荐物理分页,优先于逻辑分页。(238字)

50 2
|
4月前
|
XML Java 数据格式
|

SpringBoot@Configuration使用总结

被@Configuration标注的类视为Spring配置类,等同于XML配置文件。通过@Bean注册Bean,结合AnnotationConfigApplicationContext可启动IOC容器,加载并管理Bean实例,包括配置类自身。

83 3
|
4月前
|
Java 测试技术 API
|

从Google线上故障,谈灰度发布的重要性

2025年6月12日,Google Cloud因未灰度发布的新配置引发空指针异常,导致全球服务中断7小时。故障暴露了缺乏配置灰度与错误处理的严重风险。本文结合Nacos等配置中心的IP/标签灰度方案,探讨如何通过渐进式发布保障系统稳定性,避免类似重大事故。

104 0
|
4月前
|
缓存 Java 数据库连接
|

MyBatis常见配置

MyBatis配置优先级:方法参数 > resource/url > properties内。常用配置包括缓存、延迟加载、主键生成等。支持多环境配置,通过environments指定,默认使用development。事务管理支持JDBC和MANAGED,与Spring集成时由Spring接管。

99 3
|
4月前
|
监控 算法 Unix
|

Thread.sleep(0) 到底有什么用(读完就懂

本文深入解析 `Thread.Sleep` 的底层机制,结合操作系统调度原理,探讨其在多线程环境中的真实行为。通过“分蛋糕”类比,形象说明Windows抢占式调度的特点,澄清对 `Sleep(1000)` 和 `Sleep(0)` 的常见误解。重点指出:`Sleep(0)` 并非无意义,而是主动触发CPU重新竞争,让出执行机会,避免界面假死,具有重要实际价值。

66 0
|
4月前
|
Java Sentinel 微服务
|

服务保护、分布式事务

本课程聚焦微服务保护核心技能,涵盖雪崩问题、熔断降级、限流隔离等机制,学习Sentinel实现熔断、降级、限流策略配置,掌握FallbackFactory降级逻辑编写,理解CAP原理与Seata分布式事务,全面提升微服务高可用设计能力。

99 0
|
4月前
|
消息中间件 Java UED
|

异步消息组件MQ基础

本课程学习MQ的应用场景及RabbitMQ入门开发,掌握同步与异步调用区别,理解工作队列、发布订阅模型及各类交换机(Fanout、Direct、Topic)特性,学会解决消息堆积、应用惰性与优先级队列,并在商城项目中实践MQ技术。

83 0
|
4月前
|
消息中间件 算法 网络协议
|

选举机制源码分析

本文深入分析ZooKeeper中FastLeaderElection选举算法的实现原理与源码结构,涵盖Election接口、核心类FastLeaderElection及其内部类Notification、ToSend、Messenger的工作机制,详细解析leader选举流程、投票比较规则及多线程协作过程,帮助理解ZooKeeper集群一致性保障的核心机制。(238字)

65 0
|
4月前
|
缓存 安全 Java
|

Watcher机制(二)WatchManager

本文深入分析ZooKeeper中WatchManager类的源码,重点解析其如何通过watchTable和watch2Paths两个映射管理Watcher与节点路径的关联关系,涵盖addWatch、removeWatcher、triggerWatch等核心方法的同步机制与执行流程,揭示事件监听与触发的底层原理。

57 0
|
4月前
|
Java
|

Watcher机制(三)之ZooKeeper

本文深入分析ZooKeeper类的源码,涵盖其内部类、属性、构造函数及核心方法。重点解析Watcher机制中的注册流程,以及create、delete、exists等同步与异步操作的实现原理,揭示ZooKeeper客户端与服务端交互的核心逻辑。

63 0
|
4月前
|
关系型数据库 应用服务中间件 nginx
|

容器化部署引擎Docker

Docker是一种开源容器化技术,通过镜像打包应用及依赖,实现跨环境一致运行。它利用容器隔离机制解决开发、测试、生产环境差异问题,相比虚拟机更轻量、启动更快。本文介绍Docker核心概念、架构、镜像与容器操作、数据卷挂载、Dockerfile自定义镜像及Compose编排微服务集群,并搭建私有镜像仓库,提升部署效率与系统可移植性。(239字)

46 0
|
4月前
|
监控 Java Sentinel
|

服务保护、分布式事务

本课程讲解微服务保护机制,重点学习雪崩问题及其解决方案。通过Sentinel实现熔断、降级、限流与线程隔离,掌握微服务高可用核心技术,保障系统稳定性。

66 0
|
4月前
|
消息中间件 存储 Java
|

异步消息组件MQ高级

本文围绕消息中间件(如RabbitMQ)的可靠性机制展开,涵盖生产者重试与确认、消费者确认、消息持久化、失败处理、幂等性及延迟消息等核心内容。重点讲解如何通过重试机制、Confirm/Return确认模式保障消息发送可靠;通过手动或自动ACK确保消费可靠性;并结合定时任务实现失败消息重发,最终构建高可用的消息系统。

176 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

5
今日
69337
内容
128
活动
439815
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版