单数据库,多数据库,单实例,多实例不同情况下的数据访问效率测试

简介:

最近公司的项目准备优化一下系统的性能,希望在数据库方面看有没有提升的空间,目前压力测试发现数据库服务器压力还不够大,Web服务器压力也不是很大的情况下,前台页面访问却很慢,看有没有办法充分利用数据库服务器的性能,于是做了一个单数据库,多数据库,单实例,多实例不同情况下的数据访问效率测试。

 

测试环境:

  • CPU:Inter Core2 Quad,Q8300,2.50GHz;
  • 内存:4.00GB
  • 系统:Windows 7 32位系统
  • 数据库系统:SqlServer 2008,有两个实例,一个是默认实例,一个是命名实例QE2 

  

测试数据:

67万真实的基金收益数据,将这个表的数据放到了3个数据库中,详细内容见下面的连接字符串配置:

 

     < add  name  ="Ins1_DB1"  connectionString  ="Data Source=.;Initial Catalog=TestDB;Integrated Security=True" />
    
< add  name  ="Ins1_DB2"  connectionString  ="Data Source=.;Initial Catalog=LocalDB;Integrated Security=True" />
    
< add  name  ="Ins2_DB"  connectionString  ="Data Source=.\QE2;Initial Catalog=TestDB;Integrated Security=True" />

 

测试内容:

首先筛选出表中所有的基金代码,然后统计每只基金的最新收益率日期,对应的T-SQL代码如下:

 

复制代码
    
  
declare   @max_fsrq   datetime
  
declare   @currJJDM   varchar ( 10 )
  
declare   @temp   table  (jjdm2  varchar ( 10 ))
  
declare   @useTime   datetime
  
set   @useTime   = GETDATE  ();
  
  
insert   into   @temp (jjdm2)
   
select  jjdm  from   [ FundYield ]   group   by  jjdm  order   by  jjdm  asc
   
  
while   EXISTS  ( select  jjdm2  from   @temp )
  
begin
    
set   @currJJDM = ( select   top   1  jjdm2  from   @temp )
    
select   @max_fsrq   =   MAX (fsrq)  from   [ FundYield ]   where  jjdm = @currJJDM
    
delete   from   @temp   where  jjdm2  = @currJJDM  
    
print   @max_fsrq
  
end
  

print   ' T-SQL Execute Times(ms): '   
 
print   datediff (ms, @useTime , getdate ())
复制代码

直接执行这个T-SQL脚本,在数据库表没有索引的情况下,耗费的时间是: 

T-SQL Execute Times(ms):
58796

 

根据这个功能,写了一个.net控制台程序来测试,测试程序没有使用任何数据访问框架,直接使用ADO.NET,下面是多线程测试的代码,其它代码略:

 

复制代码
  public   static   void  Test2( string  connName1, string  connName2)
        {
            System.Diagnostics.Stopwatch watch 
=   new  System.Diagnostics.Stopwatch();
            watch.Start();
            
string  allJjdmList  =   "" ;
            
string  connString  =  getConnectionString();
            
// SqlConnection conn = new SqlConnection(connString);
            
// conn.Open();

            
string  sql  =   " select jjdm from [FundYield] group by jjdm order by jjdm asc " ;
            DataSet ds 
=  getData(connString, sql);
            
int  allCount  =  ds.Tables[ 0 ].Rows.Count;
            
int  p  =  ( int )(allCount  *   0.5 );

            System.Threading.Thread t1
= new  System.Threading.Thread ( new  System.Threading.ParameterizedThreadStart (tp1 =>
                {
                    
for  ( int  i  =   0 ; i  <  p; i ++ )
                    {
                        
string  jjdm  =  ds.Tables[ 0 ].Rows[i][ 0 ].ToString();

                        
object  result  =  getSclar(ConfigurationManager.ConnectionStrings[connName1].ConnectionString,
                       
string .Format( " select MAX(fsrq) from [FundYield] where jjdm='{0}' " , jjdm));
                        
if  (result  !=  DBNull.Value)
                        {
                            DateTime dt 
=  Convert.ToDateTime(result);
                            
// Console.WriteLine("Thread 2 No {0} ,jjdm[{1}] last FSRQ is:{2}", i, jjdm, dt);
                        }

                        allJjdmList 
=  allJjdmList  +   " , "   +  jjdm;
                    }

                    Console.WriteLine(
" Tread 1 used all time is(ms):{0} " , watch.ElapsedMilliseconds);
                }
            ));

            System.Threading.Thread t2 
=   new  System.Threading.Thread( new  System.Threading.ParameterizedThreadStart(tp2  =>
            {
                
for  ( int  i  =  p; i  <  allCount; i ++ )
                {
                    
string  jjdm  =  ds.Tables[ 0 ].Rows[i][ 0 ].ToString();
                    
// 这里不论使用default还是express,区别不大
                     object  result  =  getSclar(ConfigurationManager.ConnectionStrings[connName2].ConnectionString,
                        
string .Format( " select MAX(fsrq) from [FundYield] where jjdm='{0}' " , jjdm));
                    
if  (result  !=  DBNull.Value)
                    {
                        DateTime dt 
=  Convert.ToDateTime(result);
                        
// Console.WriteLine("Thread 2 No {0} ,jjdm[{1}] last FSRQ is:{2}", i, jjdm, dt);
                    }
                    
                    allJjdmList 
=  allJjdmList  +   " , "   +  jjdm;
                }

                Console.WriteLine(
" Tread 2 used all time is(ms):{0} " , watch.ElapsedMilliseconds);
            }
            ));

            t1.Start();
            t2.Start();
            t1.Join();
            t2.Join();

            Console.WriteLine(
" ====All thread completed!======== " );

        }
复制代码

 

 

下面是测试结果:

第一次,数据库没有创建索引,进行全表扫描:

 

------单数据库,单线程测试---------
used all time is(ms):59916
------同一实例,双数据库,单线程测试---------
used all time is(ms):59150
------同一实例,双数据库,多线程测试---------
Tread 2 used all time is(ms):51223
Tread 1 used all time is(ms):58175
====All thread completed!========
------双实例,双数据库,单线程测试---------
used all time is(ms):58230
------双实例,双数据库,多线程测试---------
Tread 2 used all time is(ms):52705
Tread 1 used all time is(ms):58293
====All thread completed!========

 

 

 

 

 

 

 

 

 

 

 

 

 

第二次,数据库响应的字段创建索引,下面是测试结果:

 


------单数据库,单线程测试---------
used all time is(ms):1721
------同一实例,双数据库,单线程测试---------
used all time is(ms):1737
------同一实例,双数据库,多线程测试---------
Tread 2 used all time is(ms):1684
Tread 1 used all time is(ms):1714
====All thread completed!========
------双实例,双数据库,单线程测试---------
used all time is(ms):1874


------单数据库,单线程测试---------
used all time is(ms):1699
------同一实例,双数据库,单线程测试---------
used all time is(ms):1754
------同一实例,双数据库,多线程测试---------
Tread 1 used all time is(ms):1043
Tread 2 used all time is(ms):1103
====All thread completed!========
------双实例,双数据库,单线程测试---------
used all time is(ms):1838
------双实例,双数据库,多线程测试---------
Tread 1 used all time is(ms):1072
Tread 2 used all time is(ms):1139
====All thread completed!========

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

测试结论:

综合全表扫描访问和有索引方式的访问,

单线程访问:

  • 在同一个数据库实例上,双数据库没有体现出优势,甚至单数据库稍微优胜于多数据库;
  • 在两个数据库实例上,双实例双实例要落后于单实例单数据库;

多线程访问:

  • 双数据库实例稍微落后于单数据库实例;

 

综合结论,看来不论是双数据库还是双实例,对比与单实例或者单数据库,都没有体现出优势,看来前者的优势不在于访问效率,一位朋友说,数据库实例是不同的服务,控制粒度更小,维护影响比较低。但我想,双数据库实例,双数据库,多核CPU,应该跟两台数据库服务器差不多的性能吧,怎么没有体现优势呢?也许是我的测试机器仅仅有一个磁盘,这里磁盘IO成了瓶颈。

 

这个测试有没有意义,或者这个结果的原因,还请大牛们多多指教!

--------------------------------------------------------------

意外发现:

1,有人说频繁的查询在完全数据库中进行效率最高,测试发现,在查询分析器上直接运行上面的那个T-SQL脚本,跟程序从数据库取出数据,再加工计算查询,效率上没有明显的区别,所以哪些支持“将复杂的业务逻辑写在存储过程中效率最高的观点是站不住脚的!”  ,ADO.NET从数据库来回操作数据一样有效率,如果加上复杂的字符函数计算和大批量的循环操作,存储过程的效率不一定高。

 

2,在使用程序进行频繁的数据库操作的时候,使用一个连接对象还是在每个方法中使用新的连接对象,一直是很纠结的问题,心想频繁的数据操作还是用一个连接对象快吧?在本文给出的测试代码中,有下列语句:

//SqlConnection conn = new SqlConnection(connString);
            
//conn.Open();
注释掉这些语句,在被调用的方法中使用自己的连接对象,与取消注释,全部使用一个连接对象,效率上没有任何区别!

究其原因,可能是ADO.NET自动使用了连接池,实际上程序在不同的情况下,使用的都是一个连接,所以操作上效率没有区别。

 

后续测试

在真正的服务器上进行测试,发现测试结论又不一样,我们有服务器A,拥有16个核,32G内存,另外一台服务器B,拥有8个核,16G内存。在服务器A上有一个SqlServer实例,两个一样的数据库;在在服务器B上有一个SqlServer实例,一个数据库,下面是测试结果:

------单数据库,单线程测试---------
used all time is(ms):650
------同一实例,双数据库,单线程测试---------
used all time is(ms):418
------同一实例,双数据库,多线程测试---------
Tread 2 used all time is(ms):221
Tread 1 used all time is(ms):223
====All thread completed!========
------双实例,双数据库,单线程测试---------
used all time is(ms):1283
------双实例,双数据库,多线程测试---------
Tread 1 used all time is(ms):228
Tread 2 used all time is(ms):542
====All thread completed!========

可以看到,同一实例,多数据库,还是有明显的优势,而多线程优势更大;由于两台服务器性能差距较大,双实例测试没有显示出优势,但多线程下还是比单实例单数据库好!

为什么PC机跟服务器测试的结论不一致?也许还是跟计算能力相关,PC机的计算负载太大,已经失去了测试的意义。

 

 


    本文转自深蓝医生博客园博客,原文链接:http://www.cnblogs.com/bluedoctor/archive/2011/06/28/2092113.html,如需转载请自行联系原作者



相关文章
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
17天前
|
存储 监控 数据处理
flink 向doris 数据库写入数据时出现背压如何排查?
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压,然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因,并通过分析相关日志进一步定位问题。
142 61
|
29天前
|
数据采集 自然语言处理 数据库
深入体验阿里云通义灵码:测试与实例展示
阿里云通义灵码是一款强大的代码生成工具,支持自然语言描述需求,快速生成高质量代码。它在测试、代码质量和用户体验方面表现出色,能够高效地生成 Python 和 Java 等语言的代码,助力开发者提升开发效率和代码质量。无论是新手还是资深开发者,都能从中受益匪浅。
深入体验阿里云通义灵码:测试与实例展示
|
1月前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
111 4
国产数据实战之docker部署MyWebSQL数据库管理工具
|
20天前
|
数据库连接 Go 数据库
Go语言中的错误注入与防御编程。错误注入通过模拟网络故障、数据库错误等,测试系统稳定性
本文探讨了Go语言中的错误注入与防御编程。错误注入通过模拟网络故障、数据库错误等,测试系统稳定性;防御编程则强调在编码时考虑各种错误情况,确保程序健壮性。文章详细介绍了这两种技术在Go语言中的实现方法及其重要性,旨在提升软件质量和可靠性。
23 1
|
2月前
|
机器学习/深度学习 JSON 算法
实例分割笔记(一): 使用YOLOv5-Seg对图像进行分割检测完整版(从自定义数据集到测试验证的完整流程)
本文详细介绍了使用YOLOv5-Seg模型进行图像分割的完整流程,包括图像分割的基础知识、YOLOv5-Seg模型的特点、环境搭建、数据集准备、模型训练、验证、测试以及评价指标。通过实例代码,指导读者从自定义数据集开始,直至模型的测试验证,适合深度学习领域的研究者和开发者参考。
684 3
实例分割笔记(一): 使用YOLOv5-Seg对图像进行分割检测完整版(从自定义数据集到测试验证的完整流程)
|
1月前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
1月前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
48 3
|
1月前
|
SQL Java 数据库连接
打破瓶颈:利用Java连接池技术提升数据库访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,避免了频繁的连接建立和断开,显著提升了数据库访问效率。常见的连接池库包括HikariCP、C3P0和DBCP,它们提供了丰富的配置选项和强大的功能,帮助优化应用性能。
53 2
|
2月前
|
人工智能 Cloud Native 容灾
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?