利用虚拟硬盘(把内存当作硬盘)来提高数据库的效率(目前只针对SQL Server 2000)可以提高很多

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS SQL Server,独享型 2核4GB
简介: 上一篇:让你的笔记本更快一点——我的笔记本的性能测试和虚拟硬盘(把内存当成硬盘)的使用感觉         虚拟硬盘:就是把内存当作硬盘来用,比如有2G的内存,那么可以拿出来1G的内存当作硬盘来用。

 

上一篇:让你的笔记本更快一点——我的笔记本的性能测试和虚拟硬盘(把内存当成硬盘)的使用感觉

 

      虚拟硬盘:就是把内存当作硬盘来用,比如有2G的内存,那么可以拿出来1G的内存当作硬盘来用。

      自从知道了“虚拟硬盘”这个东东,我就一直在想如何才能把这个虚拟硬盘发挥到极致,上一篇也写了一些简单的应用,当然提高的效率并不多,并不是很理想。我最想提高的是提高数据库的读取速度,也就是提高分页效率。一开始是想把数据库文件放到虚拟硬盘里面,这样读取速度不就快乐吗?但是当我把一个250万条记录的数据库放在了虚拟硬盘上做测试后,发现效果并不理想。

      250万条记录,利用主键排序(聚集索引),可以提高几倍的效率,但是如果换成一般的字段(nvarchar类型的,没有设置索引),查看第1000页的数据的时候居然超时了?!这个也太。。。还是“内存”了吗?无意间看了一眼硬盘指示灯,这个灯在显示数据的时候居然一直在亮!不会把,从虚拟硬盘里面读数据,硬盘灯为什么会亮呀?看来SQL Server2000在大量数据排序的时候会往硬盘里面写数据。查看了一下发现SQL Server2000会往Tempdb数据库里面写数据,居然写了100多M的数据,看来这是照成超时的原因了。

      那么能不能把Tempdb换到虚拟硬盘里面呢?一开始用了一个笨着,竟然把SQL Server2000给弄死了,害得我重装了一遍。后来才发现,有现成的SQL语句可以使用。好了现在可以改Tempdb的位置了,再来测试一遍。这回效果比较理想,翻到第5000页,花费了11秒多,没有超时。

 

 

USE  master
Go
ALTER   DATABASE  tempdb MODIFY  FILE  (NAME  =  tempdev, FILENAME  =   ' t:\data\tempdb.mdf ' )
Go
ALTER   DATABASE  tempdb MODIFY  FILE  (NAME  =  templog, FILENAME  =   ' t:\data\templog.ldf ' )
Go

 

      Tempdb数据库里并不会存放重要数据,丢掉了也不会有什么大问题,只需要在重启计算机后把文件拷贝过去就可以了,代价不大,效率却可以提高很多,有减少了硬盘的读写次数,保护了硬盘嘛,应该是一个很好的方法。

 

      测试的具体情况:

      SQL Server 2000 ,Northwind数据库里的Products表,表里面有2523136条记录数,  每页15条记录,共168210页。

      ProductID 字段是主键,聚集索引,其他字段都没有索引。

      1、使用颠倒Top的分页算法,按照ProductName,ProductID来排序。一开始比较慢,需要20多秒(需要把数据读取到Tempdb),后来就快了一些,11秒左右。就是说翻到了第1000页、第 5000页只需要11秒左右,硬盘灯也没怎么亮。第10000页,12秒。第十万页,22秒。(注意:这是250万条记录,按照nvarchar字段排序的结果

      第99999页使用的SQL语句:

 

  select   *   from  Products  where  productid  in  
   ( 
select   top   15  productid  from  
     ( 
select   top   1499985  productname,productid  from  Products 
         
order   by  productname,productid )  as  t 
      
order   by  t.productname  desc ,t.productid  desc  )

order   by  productname,productid 

 

 

      2、使用Max分页算法,按照主键(ProductID)字段排序。这个就非常快了,10000页以内都是0毫秒到32毫秒,第五万页是200毫秒左右,第十万页是300多毫秒,第十六万页(快到最后了)是600毫秒左右。可以用秒杀来形容了。

      第1600000页使用的SQL语句:

 

select   top   15   *   from  Products 
where  productid >=  
  (
SELECT   max (productid )  from  
     (
select   top   2399986  productid  from  Products  order   by  productid )  as  t )

 
order   by  productid 

 

    2.1、同样的条件下,如果Tempdb放在物理硬盘里面的话,速度慢很多。下面是测试数据。(使用Max分页算法,按照主键(ProductID)字段排序)

    

页号 时间:毫秒
第1页 156
第2页 15
第10000页 1390
第10001页 47
第140000页 8391
第140001页 546
第160000页 1766
第160001页 600
   

     注意:这里并不是想说分页算法如何如何的快,而是想说,对于SQL Server2000来说,如果把Tempdb数据库的文件(tempdb.mdf)放在虚拟硬盘里面,可以提高很大的效率!至于SQL Server 2005还没有测试。

 

 

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
相关文章
|
17天前
|
XML Ubuntu Linux
部署08---扩展-Win10配置WSL(Ubuntu)环境,WSL系统是什么意思,是Windows系统上的一个子系统, xml的一大特点是直链系统,直接链接你的CPU,硬盘和内存,如何用 WSL部署
部署08---扩展-Win10配置WSL(Ubuntu)环境,WSL系统是什么意思,是Windows系统上的一个子系统, xml的一大特点是直链系统,直接链接你的CPU,硬盘和内存,如何用 WSL部署
|
4天前
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之数据集成时源头提供数据库自定义函数调用返回数据,数据源端是否可以写自定义SQL实现
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
SQL 存储 数据库
性能分析工具如Sql explain、show profile和mysqlsla在数据库性能优化中有什么作用
性能分析工具如Sql explain、show profile和mysqlsla在数据库性能优化中有什么作用
|
7天前
|
SQL Oracle 关系型数据库
|
6天前
|
SQL Oracle 关系型数据库
MySQL、SQL Server和Oracle数据库安装部署教程
数据库的安装部署教程因不同的数据库管理系统(DBMS)而异,以下将以MySQL、SQL Server和Oracle为例,分别概述其安装部署的基本步骤。请注意,由于软件版本和操作系统的不同,具体步骤可能会有所变化。
28 3
|
11天前
|
SQL 监控 安全
数据库安全:SQL注入防御实践
【7月更文挑战第11天】SQL注入攻击作为一种常见的网络攻击手段,对数据库的安全性和业务稳定构成了严重威胁。为了有效防御SQL注入攻击,开发者和数据库管理员应采取一系列实践措施,包括输入验证与过滤、使用参数化查询、限制数据库用户权限、使用Web应用程序防火墙、定期更新和打补丁、实施实时监控和审计以及使用HTTPS协议等。通过这些措施的实施,可以显著提升数据库的安全性,降低遭受SQL注入攻击的风险。同时,开发者和数据库管理员应持续关注新的安全威胁和防御技术,不断提升自身的安全防护能力。
|
12天前
|
SQL 存储 安全
数据库数据恢复—SQL Server数据库出现逻辑错误的数据恢复案例
SQL Server数据库数据恢复环境: 某品牌服务器存储中有两组raid5磁盘阵列。操作系统层面跑着SQL Server数据库,SQL Server数据库存放在D盘分区中。 SQL Server数据库故障: 存放SQL Server数据库的D盘分区容量不足,管理员在E盘中生成了一个.ndf的文件并且将数据库路径指向E盘继续使用。数据库继续运行一段时间后出现故障并报错,连接失效,SqlServer数据库无法附加查询。管理员多次尝试恢复数据库数据但是没有成功。
|
17天前
|
SQL 自然语言处理 网络协议
【Linux开发实战指南】基于TCP、进程数据结构与SQL数据库:构建在线云词典系统(含注册、登录、查询、历史记录管理功能及源码分享)
TCP(Transmission Control Protocol)连接是互联网上最常用的一种面向连接、可靠的、基于字节流的传输层通信协议。建立TCP连接需要经过著名的“三次握手”过程: 1. SYN(同步序列编号):客户端发送一个SYN包给服务器,并进入SYN_SEND状态,等待服务器确认。 2. SYN-ACK:服务器收到SYN包后,回应一个SYN-ACK(SYN+ACKnowledgment)包,告诉客户端其接收到了请求,并同意建立连接,此时服务器进入SYN_RECV状态。 3. ACK(确认字符):客户端收到服务器的SYN-ACK包后,发送一个ACK包给服务器,确认收到了服务器的确
138 1
|
18天前
|
SQL 存储 关系型数据库
关系型数据库SQL Server学习
【7月更文挑战第4天】
26 2
|
12天前
|
SQL Java 关系型数据库
Java面试题:描述JDBC的工作原理,包括连接数据库、执行SQL语句等步骤。
Java面试题:描述JDBC的工作原理,包括连接数据库、执行SQL语句等步骤。
23 0