新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应

新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应

152 3

安全可靠的国产自研数据库PolarDB V2.0,让数据库开发像“搭积木”一样简单!

安全可靠的国产自研数据库PolarDB V2.0,让数据库开发像“搭积木”一样简单!

967 11

重磅|顶会最高奖+1,阿里云PolarDB再获SIGMOD最佳论文奖

阿里云斩获SIGMOD 2024最佳论文,PolarDB成功破解经典多主架构难题

1067 13
来自: 关系型数据库  版块

云原生数据库,走向Serverless与AI驱动的一站式数据平台

AI驱动下的数据平台,正在向一站式、智能化的方向演进。作为AIGC应用的基础设施,以PolarDB、AnalyticDB、Lindorm、RDS为核心的阿里云瑶池数据库现已全面拥抱向量检索能力,并与通义等大模型深度集成,为用户提供智能化的一站式数据管理平台,加速业务数智创新。

50466 47
来自: 关系型数据库  版块

数据库数据恢复——MySQL简介和数据恢复案例

MySQL数据库数据恢复环境&故障: 本地服务器,安装的windows server操作系统。 操作系统上部署MySQL单实例,引擎类型为innodb,表空间类型为独立表空间。该MySQL数据库没有备份,未开启binlog。 人为误操作,在用Delete命令删除数据时未添加where子句进行筛选导致全表数据被删除,删除后未对该表进行任何操作。

6 1

ssm064农产品仓库管理系统系统(文档+源码)_kaic

农产品仓库管理系统基于现代经济快速发展和信息化技术的升级,采用SSM框架、Java语言及Mysql数据库开发。系统旨在帮助管理者高效处理大量数据信息,提升事务处理效率,实现数据管理的科学化与规范化。该系统涵盖物资基础数据管理、出入库订单管理等功能,界面简洁美观,符合用户操作习惯,并提供数据安全解决方案,确保信息的安全性和可靠性。通过自动化和集中处理,系统显著提高了仓库管理的效率和准确性。

21 5

分库分表—4.数据迁移系统文档

本文介绍了数据迁移系统的设计与实现,主要包括: 1. 数据库设计:订单表、订单详情表、binlog消息消费记录表等关键表结构。 2. 枚举类:增量数据同步的操作类型、消费操作结果、DB数据库渠道等枚举值。 3. 接口设计:访问迁移看板界面、查询同步进度、发起全量同步等API。 4. 定时任务设计:定时核对校验数据、数据量统计、增量数据落地和失败重试等任务。 5. 技术亮点:滚动拉取方案、统计滚动进度、防止增量同步数据丢失和高效写入方案、数据扩容方案。 6. 全量同步和增量同步整体流程图。 7. 功能升级:数据源动态化配置、XML动态生成及扩容迁移时的问题处理。

7 0
来自: 关系型数据库  版块

MySQL进阶突击系列(09)数据磁盘存储模型 | 一行数据怎么存?

文中详细介绍了MySQL数据库中一行数据在磁盘上的存储机制,包括表空间、段、区、页和行的具体结构,以及如何设计和优化行数据存储以提高性能。

9 1
来自: 关系型数据库  版块

JAVA网络IO之NIO/BIO

本文介绍了Java网络编程的基础与历史演进,重点阐述了IO和Socket的概念。Java的IO分为设备和接口两部分,通过流、字节、字符等方式实现与外部的交互。

8 0

Dify On DMS 产品能力与案例介绍

Dify On DMS 产品能力与案例介绍

19 0
来自: Data+AI  版块

Lindorm作为AI搜索基础设施,助力Kimi智能助手升级搜索体验

月之暗面旗下的Kimi智能助手在PC网页、手机APP、小程序等全平台的月度活跃用户已超过3600万。Kimi发布一年多以来不断进化,在搜索场景推出的探索版引入了搜索意图增强、信源分析和链式思考等三大推理能力,可以帮助用户解决更复杂的搜索、调研问题。 Lindorm作为一站式数据平台,覆盖数据处理全链路,集成了离线批处理、在线分析、AI推理、融合检索(正排、倒排、全文、向量......)等多项服务,支持Kimi快速构建AI搜索基础设施,显著提升检索效果,并有效应对业务快速发展带来的数据规模膨胀和成本增长。

58 2
来自: NoSQL数据库  版块

数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)

湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。

17 1
来自: 数据仓库  版块

分库分表—3.详细介绍二

本文主要介绍了:基于Canal和RocketMQ的增量同步、增量同步任务查询与线程池提交、RocketMQ里的binlog消息的消费逻辑、新增binlog的数据同步逻辑、binlog基于内存队列的异步转发逻辑、基于CAS加锁的读写队列互换机制、binlog基于内存的merge合并逻辑、对merge数据从目标库里分批查询、对merge数据基于目标库数据做过滤、将过滤后的merge数据写入目标库、offset提交线程的启动和逻辑分析、增量同步过程中binlog写入失败的恢复、增量同步过程中的各种失败场景的恢复机制、定时移除已提交的增量同步消息、增量与全量并行运行、数据校验逻辑分析、无损发布方案等。

28 9
来自: 关系型数据库  版块

用 SAP ABAP 接入国内 AI 产品通用接口技术指南 1、调用AI接口

SAP 系统与国内先进的 AI 产品(如百度文心一言、阿里通义千问、字节跳动云雀模型、华为盘古大模型、豆包、Deepsheek 等)集成通用接口技术指南

103 22
来自: Data+AI  版块

利用 PolarDB PG 版向量化引擎,加速复杂 SQL 查询!完成任务领发财新年抱枕!

利用 PolarDB PG 版向量化引擎,加速复杂 SQL 查询!完成任务领发财新年抱枕!

39 14
来自: 关系型数据库  版块

2025阿里云PolarDB开发者大会,他们都来了

2025阿里云PolarDB开发者大会,超全议程,重磅来袭

45 3

体验PolarDB MySQL热备无感秒切:极速切换,无缝体验,赢取ins风鼠标垫!

体验PolarDB MySQL热备无感秒切:极速切换,无缝体验,赢取ins风鼠标垫!

25 4
来自: 关系型数据库  版块

体验用分布式数据库突破资源瓶颈,完成任务领智能台灯!

体验用分布式数据库突破资源瓶颈,完成任务领智能台灯!

28 4
来自: 关系型数据库  版块

分库分表—2.详细介绍一

本文主要介绍了:单库单表到多库多表的全量复制方案、全量数据复制方案的中断恢复分析、数据迁移系统的工程结构和数据源配置、基于订单号和用户ID的分片路由算法、发起全量数据迁移任务的实现、处理全量数据迁移任务时的内存级表锁的实现、最小订单号的查询实现、全量数据迁移任务的进度组件的初始化、每一批数据的滚动查询、范围过滤、模型转换、去重校验以及批量写入、多数据源的工程代码实现、多批次滚动迁移的代码逻辑实现、手动触发和自动触发被中断的全量数据迁移任务、按天粒度的订单数据量定时计算逻辑、全量数据同步过程中的进度处理逻辑

20 7
来自: 关系型数据库  版块

Java HashMap详解及实现原理

Java HashMap是Java集合框架中常用的Map接口实现,基于哈希表结构,允许null键和值,提供高效的存取操作。它通过哈希函数将键映射到数组索引,并使用链表或红黑树解决哈希冲突。HashMap非线程安全,多线程环境下需注意并发问题,常用解决方案包括ConcurrentHashMap和Collections.synchronizedMap()。此外,合理设置初始化容量和加载因子、重写hashCode()和equals()方法有助于提高性能和避免哈希冲突。

35 17

RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?

随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。

28 9
来自: 关系型数据库  版块

分库分表—1.简要概述

本文从单库版本到分库分表的演进开始介绍,然后分析MySQL的性能瓶颈以及对应的解决方案,接着引入分库分表,最后介绍分库分表实战的一些关键细节。

107 86
来自: 关系型数据库  版块

从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地

日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案,替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度,规模达到 50 台服务器, 倒排索引将全文检索性能提升7倍,2PB 数据,每天新增日志量超过万亿条,峰值写入吞吐 6GB/s 。

35 5
来自: 数据仓库  版块

当技术邂逅心动|情人节特供福利:免费部署Dify+DeepSeek on DMS

阿里云DMS携手Dify+DeepSeek推出限时免费试用活动,助企业高效接入AI能力。通过DMS平台,用户可轻松部署Dify应用,并与DeepSeek、通义大模型等无缝融合,实现低门槛、开箱即用的AI体验。活动仅限50个名额,先到先得,赶快行动!

126 7
来自: Data+AI  版块

MySQL底层概述—10.InnoDB锁机制

本文介绍了:锁概述、锁分类、全局锁实战、表级锁(偏读)实战、行级锁升级表级锁实战、间隙锁实战、临键锁实战、幻读演示和解决、行级锁(偏写)优化建议、乐观锁实战、行锁原理分析、死锁与解决方案

64 24
来自: 关系型数据库  版块

MySQL底层概述—9.ACID与事务

本文介绍了数据库事务的ACID特性(原子性、一致性、隔离性、持久性),以及事务控制的演进过程,包括排队、排它锁、读写锁和MVCC(多版本并发控制)。文章详细解释了每个特性的含义及其在MySQL中的实现方式,并探讨了事务隔离级别的类型及其实现机制。重点内容包括:ACID特性(原子性、持久性、隔离性和一致性的定义及其实现方式)、事务控制演进(从简单的全局排队到复杂的MVCC,逐步提升并发性能)、MVCC机制(通过undo log多版本链和Read View实现高效并发控制)、事务隔离级别(析了四种隔离级别(读未提交、读已提交、可重复读、可串行化)的特点及适用场景)、隔离级别与锁的关系。

49 5
来自: 关系型数据库  版块

数据库数据恢复—MongoDB数据库迁移过程中丢失文件的数据恢复案例

某单位一台MongoDB数据库由于业务需求进行了数据迁移,数据库迁移后提示:“Windows无法启动MongoDB服务(位于 本地计算机 上)错误1067:进程意外终止。”

28 1

湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构

浙江霖梓早期基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。

35 3
来自: 数据仓库  版块

MySQL底层概述—8.JOIN排序索引优化

本文主要介绍了MySQL中几种关键的优化技术和概念,包括Join算法原理、IN和EXISTS函数的使用场景、索引排序与额外排序(Using filesort)的区别及优化方法、以及单表和多表查询的索引优化策略。

59 22
来自: 关系型数据库  版块

深入简出的带你精通java线程

线程与进程是操作系统中的两个重要概念。进程是资源分配的最小单位,负责加载指令、管理内存和IO;线程是CPU调度的最小单位,也被称为轻量级进程。

70 36

MySQL底层概述—7.优化原则及慢查询

本文主要介绍了:Explain概述、Explain详解、索引优化数据准备、索引优化原则详解、慢查询设置与测试、慢查询SQL优化思路

78 15
来自: 关系型数据库  版块

MySQL底层概述—6.索引原理

本文详细回顾了:索引原理、二叉查找树、平衡二叉树(AVL树)、红黑树、B-Tree、B+Tree、Hash索引、聚簇索引与非聚簇索引。

54 11
来自: 关系型数据库  版块

MySQL底层概述—5.InnoDB参数优化

本文介绍了MySQL数据库中与内存、日志和IO线程相关的参数优化,旨在提升数据库性能。主要内容包括: 1. 内存相关参数优化:缓冲池内存大小配置、配置多个Buffer Pool实例、Chunk大小配置、InnoDB缓存性能评估、Page管理相关参数、Change Buffer相关参数优化。 2. 日志相关参数优化:日志缓冲区配置、日志文件参数优化。 3. IO线程相关参数优化: 查询缓存参数、脏页刷盘参数、LRU链表参数、脏页刷盘相关参数。

50 12
来自: 关系型数据库  版块

TiDB,金融级开源NewSQL

本文介绍了国内自研且开源的NewSQL数据库TiDB,它具备分布式强一致性事务、水平扩展、高可用等特性,几乎满足了对数据库的所有需求,堪称数据库中的“六边形战士”。文章回顾了数据库技术的发展历程,从人工管理阶段到文件系统阶段,再到现代的数据库系统阶段。最后,文章总结了TiDB的前景和挑战,指出虽然部署成本较高,但在特定行业和业务领域中具有巨大潜力。

69 11

MySQL底层概述—4.InnoDB数据文件

本文介绍了InnoDB表空间文件结构及其组成部分,包括表空间、段、区、页和行。表空间是最高逻辑层,包含多个段;段由若干个区组成,每个区包含64个连续的页,页用于存储多条行记录。文章还详细解析了Page结构,分为通用部分(文件头与文件尾)、数据记录部分和页目录部分。此外,文中探讨了行记录格式,包括四种行格式(Redundant、Compact、Dynamic和Compressed),重点介绍了Compact行记录格式及其溢出机制。最后,文章解释了不同行格式的特点及应用场景,帮助理解InnoDB存储引擎的工作原理。

27 6
来自: 关系型数据库  版块

MySQL底层概述—3.InnoDB线程模型

InnoDB存储引擎采用多线程模型,包含多个后台线程以处理不同任务。主要线程包括:IO Thread负责读写数据页和日志;Purge Thread回收已提交事务的undo日志;Page Cleaner Thread刷新脏页并清理redo日志;Master Thread调度其他线程,定时刷新脏页、回收undo日志、写入redo日志和合并写缓冲。各线程协同工作,确保数据一致性和高效性能。

35 6
来自: 关系型数据库  版块

2025阿里云PolarDB开发者大会等你赴约!

在数字化浪潮中,AI与数据库的融合正重塑行业格局。2025年2月26日(周三),诚邀您在北京朝阳区嘉瑞文化中心参会,探讨数据技术发展与AI时代的无限可能。席位有限,立即免费报名!

813 67

议程剧透|2月26日来这场数据库盛典,Passion全场!

2月26日,北京嘉瑞文化中心 2025 阿里云PolarDB开发者大会 我们一起Passion全场

54 8
|
9天前
| |

Redis Plus 来了,性能炸裂!

Redis Plus 来了,性能炸裂!

64 21

MySQL底层概述—2.InnoDB磁盘结构

InnoDB磁盘结构主要包括表空间(Tablespaces)、数据字典(Data Dictionary)、双写缓冲区(Double Write Buffer)、重做日志(redo log)和撤销日志(undo log)。其中,表空间分为系统、独立、通用、Undo及临时表空间,分别用于存储不同类型的数据。数据字典从MySQL 8.0起不再依赖.frm文件,转而使用InnoDB引擎存储,支持事务原子性DDL操作。

175 100
来自: 关系型数据库  版块

MySQL底层概述—1.InnoDB内存结构

本文介绍了InnoDB引擎的关键组件和机制,包括引擎架构、Buffer Pool、Page管理机制、Change Buffer、Log Buffer及Adaptive Hash Index。

165 97
来自: 关系型数据库  版块

spring boot 启动流程

Spring Boot 启动流程简介: 在使用 Spring Boot 之前,启动 Java Web 应用需要配置 Web 容器(如 Tomcat),并将应用打包放入容器目录。而使用 Spring Boot,只需运行 main() 方法即可启动 Web 应用。Spring Boot 的核心启动方法是 SpringApplication.run(),它负责初始化和启动应用上下文。 主要步骤包括: 1. **应用启动计时**:使用 StopWatch 记录启动时间。 2. **打印 Banner**:显示 Spring Boot 的 LOGO。 3. **创建上下文实例**:通过反射创建

62 5

MySQL原理简介—10.SQL语句和执行计划

本文介绍了MySQL执行计划的相关概念及其优化方法。首先解释了什么是执行计划,它是SQL语句在查询时如何检索、筛选和排序数据的过程。接着详细描述了执行计划中常见的访问类型,如const、ref、range、index和all等,并分析了它们的性能特点。文中还探讨了多表关联查询的原理及优化策略,包括驱动表和被驱动表的选择。此外,文章讨论了全表扫描和索引的成本计算方法,以及MySQL如何通过成本估算选择最优执行计划。最后,介绍了explain命令的各个参数含义,帮助理解查询优化器的工作机制。通过这些内容,读者可以更好地理解和优化SQL查询性能。

51 6
来自: 关系型数据库  版块

MySQL原理简介—11.优化案例介绍

本文介绍了四个SQL性能优化案例,涵盖不同场景下的问题分析与解决方案: 1. 禁止或改写SQL避免自动半连接优化。 2. 指定索引避免按聚簇索引全表扫描大表。 3. 按聚簇索引扫描小表减少回表次数。 4. 避免产生长事务长时间执行。

34 8
来自: 关系型数据库  版块

MySQL原理简介—12.MySQL主从同步

本文介绍了四种为MySQL搭建主从复制架构的方法:异步复制、半同步复制、GTID复制和并行复制。异步复制通过配置主库和从库实现简单的主从架构,但存在数据丢失风险;半同步复制确保日志复制到从库后再提交事务,提高了数据安全性;GTID复制简化了配置过程,增强了复制的可靠性和管理性;并行复制通过多线程技术降低主从同步延迟,保证数据一致性。此外,还讨论了如何使用工具监控主从延迟及应对策略,如强制读主库以确保即时读取最新数据。

40 4
来自: 关系型数据库  版块

MySQL原理简介—9.MySQL索引原理

本文详细介绍了MySQL索引的设计与使用原则,涵盖磁盘数据页的存储结构、页分裂机制、主键索引设计及查询过程、聚簇索引和二级索引的原理、B+树索引的维护、联合索引的使用规则、SQL排序和分组时如何利用索引、回表查询对性能的影响以及索引覆盖的概念。此外还讨论了索引设计的案例,包括如何处理where筛选和order by排序之间的冲突、低基数字段的处理方式、范围查询字段的位置安排,以及通过辅助索引来优化特定查询场景。总结了设计索引的原则,如尽量包含where、order by、group by中的字段,选择离散度高的字段作为索引,限制索引数量,并针对频繁查询的低基数字段进行特殊处理等。

55 18
来自: 关系型数据库  版块

小红书笔记详情 API 接口的开发、应用与收益

小红书(RED)作为国内领先的生活方式分享平台,汇聚了大量用户生成内容(UGC),尤其是“种草”笔记。小红书笔记详情API接口为开发者提供了获取笔记详细信息的强大工具,包括标题、内容、图片、点赞数等。通过注册开放平台账号、申请API权限并调用接口,开发者可以构建内容分析工具、笔记推荐系统、数据爬虫等应用,提升用户体验和运营效率,创造新的商业模式。本文详细介绍API的开发流程、应用场景及潜在收益,并附上Python代码示例。

158 61