.NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(1)

简介:




声明:这篇文章可能存在错误,我对于 DataSet和SqlDataReader概念的理解有误,当时主要是针对网络上一个面试的题目做出的,测试。我在核实资料后与验证代码后会做出更新。

    我已经使用Reflector查看了SQLDataAdapter类型的Fill方法以及SqlCommand.ExecuteReader 方法代码。确实有使用DataReader的地方。他们是真正负责处理查询并装在数据。DataReader和DataSet应该都是数据容器。做个类比的话,应该是茶壶和茶杯的关系。 至于查询数据,除了取决于容器,还和具体负责查询和装载数据的类有关系。 我文章的标题,应该说是有问题的,这种比较忽略了一个数据查询和装载的过程。有不合理的地方。现在更正。
 2009年已经来临,中国的新春佳节就要到来.首先祝各位新年快乐,牛年大吉~~此篇文章作为我blog的第一篇文章,写出来希望能与大家一起分享经验,交流技术.
     DataSet和SqlDataReader的比较的文章和帖子网上已经很多,我也看了很多前辈的随笔.自己在面试和实际工作中也遇到这样的问题.但是始终是没深入进行学习.最近在工作空闲之余,特地查阅了一些文章,也包括msdn的官方文档.自己建立数据库和测试程序,对 DataSet和SqlDataReader做了比较.
   首先关于两者比较主流的观点就是:
1. DataReader使用时始终占用SqlConnection,在线操作数据库.DataSet则是将数据一次性加载在内存中.支持数据库访问的断开连接模型.
2. DataReader每次只在内存中加载一条数据,节约内存.DataSet将数据全部加载在内存中.比较消耗内存.
3. DataReader单向只读.DataSet支持查询\修改\删除等操作,比较灵活.
4. DataReader与 SqlCommand搭配.DataSet与DataAdapter 结合使用.
   为什么会这样呢?我们就来分析一下具体的原因.查看一下msdn关于 两者的不同描述:
1>SqlDataReader 类 提供一种从 SQL Server 数据库读取行的只进流的方式。无法继承此类。  命名空间:   System.Data.SqlClient 程序集:   System.Data(在 System.Data.dll 中).可以使用 ADO.NET  DataReader 从数据库中检索只读、只进的数据流。查询结果在查询执行时返回,在并存储在客户端的网络缓冲区中,直到您使用  DataReader 的  Read方法对它们发出请求。使用  DataReader 可以提高应用程序的性能,原因是它只要数据可用就立即检索数据,并且(默认情况下)一次只在内存中存储一行,减少了系统开销。
2> DataSet 对象是支持 ADO.NET 的断开式、分布式数据方案的核心对象。DataSet 是数据的内存驻留表示形式,无论数据源是什么,它都会提供一致的关系编程模型。它可以用于多种不同的数据源,用于 XML 数据,或用于管理应用程序本地的数据。DataSet 表示包括相关表、约束和表间关系在内的整个数据集。下图将显示 DataSet 对象模型。
     从上面的描述可以看出, DataReader和DataSet具有不同的结构模型.在数据的方式处理上也存在显著的差别.SqlDataReader 会避免创建不必要的对象或复制不必要的数据.DataSet 可以表示完整的数据模型,包括表格、约束条件和表关系.在对象的创建和销毁等环节需要消耗更多的资源,因此在性能上也稍显逊色.因此很多文章得出的结论也是在只进行读数据操作的情况下, DataReader的性能要强于DataSet.但是很多文章都没有相应的测试,就盲目下结论.
      但是好奇心理的驱使使我很想来做个试验来验证一下这个结论,到底 DataReader比DataSet在查询数据的时候,性能会不会胜出,如果前者更优的话那么会超出多少?我自己写了个小程序,自己建立的数据库进行了实验.  实验测试环境如下:
硬件:
CPU
Intel T2300 1.66GHz
内存
Kingston  DDR2 667  1G
硬盘
80G  5400   8m
软件:
操作系统
Windows Server 2003
数据库系统
SQL Server 2005  Enterprise
数据规模
1000000 条数据
数据库表结构
Test
名称
类型
备注
id
int
标志\聚集索引
name
nvarchar(50)
非聚集索引
birthday
datetime
生日
height
int
身高
sex
int
性别
address
nvarchar(100)
地址
lastlogintime
datetime
非聚集索引
具体的实验程序c#代码如下,使用了 using System.Data.SqlClient;
using System.Diagnostics;两个namespace下的类,Stopwatch对象用来进行计时.

测试DataSet的代码:
 1   using  (SqlConnection conn  =   new  SqlConnection( " Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True " ))
 2              {
 3                Stopwatch st = new Stopwatch();
 4                st.Start();
 5                conn.Open();
 6                SqlDataAdapter da = new SqlDataAdapter(sQuery, conn);
 7                st.Stop();
 8                //textBox3.Text = st.ElapsedMilliseconds.ToString();
 9
10                st.Start();
11                DataSet ds = new DataSet("test");
12                da.Fill(ds);
13                st.Stop();
14                long ltimes = st.ElapsedMilliseconds;
15                //textBox1.Text = ltimes.ToString();
16                conn.Close();
17                ///textBox3.Text = sizeof(DataSet);
18            }

19             
 
测试 DataReader的代码:
 

 1 using (SqlConnection conn = new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
 2            {
 3
 4                Stopwatch st = new Stopwatch();
 5                st.Start();
 6                conn.Open();
 7                SqlCommand Comm = new SqlCommand(sQuery, conn);
 8                st.Stop();
 9                textBox4.Text = st.ElapsedMilliseconds.ToString();
10                st.Start();
11                SqlDataReader reader = Comm.ExecuteReader();
12                while (reader.Read())
13                {
14                    
15                }

16                st.Stop();
17                long ltimes = st.ElapsedMilliseconds;
18                textBox2.Text = ltimes.ToString();
19                conn.Close();
20                //textBox4.Text = sizeof(SqlDataReader);
21            }
测试语句和时间ms分别如下:
语句
DataReader 费时
DataSet费时
string sQuery = "SELECT * FROM dbo.test where id <= 1"
0ms
0ms
string sQuery = "SELECT * FROM dbo.test where id <=10"
1ms
1ms
string sQuery = "SELECT * FROM dbo.test where id <=100"
2ms
3ms
string sQuery = "SELECT * FROM dbo.test where id <=1000"
5ms
6ms
string sQuery = "SELECT * FROM dbo.test where id <=10000"
8ms
50ms
从试验结果分析可以得出如下结论:
1.在查询数据量很少的情况下100条内, DataReader和DataSet几乎没有什么明显的性能差别.
2.数据量过大,接近10000条的时候的数据查询, DataReader的性能要明显优于DataSet.
对于两者的性能对比,不应该轻易下结论,除了参考实验设备,也要考虑实际的数据规模.
具体项目应用中,选择适合具体需求的对象进行数据处理,才能有效的提高系统的性能.
          本文的测试环境和结果可能存在偏差,但是希望能给大家带来一些帮助,一起交流学习.谢谢.
【2】补充:
DataAdapter的Fill方法的源码,我们使用反射器查看,代码如下:


 本文转自 frankxulei 51CTO博客,原文链接:http://blog.51cto.com/frankxulei/320999,如需转载请自行联系原作者



相关文章
|
3月前
|
测试技术 持续交付 API
深入挖掘探索.NET单元测试
【10月更文挑战第11天】
50 2
|
26天前
|
算法 Java 测试技术
使用 BenchmarkDotNet 对 .NET 代码进行性能基准测试
使用 BenchmarkDotNet 对 .NET 代码进行性能基准测试
57 13
|
1月前
|
算法 Java 测试技术
Benchmark.NET:让 C# 测试程序性能变得既酷又简单
Benchmark.NET是一款专为 .NET 平台设计的性能基准测试框架,它可以帮助你测量代码的执行时间、内存使用情况等性能指标。它就像是你代码的 "健身教练",帮助你找到瓶颈,优化性能,让你的应用跑得更快、更稳!希望这个小教程能让你在追求高性能的路上越走越远,享受编程带来的无限乐趣!
126 13
|
2月前
|
开发框架 安全 .NET
在数字化时代,.NET 技术凭借跨平台兼容性、丰富的开发工具和框架、高效的性能及强大的安全稳定性,成为软件开发的重要支柱
在数字化时代,.NET 技术凭借跨平台兼容性、丰富的开发工具和框架、高效的性能及强大的安全稳定性,成为软件开发的重要支柱。它不仅加速了应用开发进程,提升了开发质量和可靠性,还促进了创新和业务发展,培养了专业人才和技术社区,为软件开发和数字化转型做出了重要贡献。
47 5
|
2月前
|
传感器 人工智能 供应链
.NET开发技术在数字化时代的创新作用,从高效的开发环境、强大的性能表现、丰富的库和框架资源等方面揭示了其关键优势。
本文深入探讨了.NET开发技术在数字化时代的创新作用,从高效的开发环境、强大的性能表现、丰富的库和框架资源等方面揭示了其关键优势。通过企业级应用、Web应用及移动应用的创新案例,展示了.NET在各领域的广泛应用和巨大潜力。展望未来,.NET将与新兴技术深度融合,拓展跨平台开发,推动云原生应用发展,持续创新。
51 4
|
2月前
|
机器学习/深度学习 人工智能 Cloud Native
在数字化时代,.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率,成为软件开发的重要平台
在数字化时代,.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率,成为软件开发的重要平台。本文深入解析 .NET 的核心优势,探讨其在企业级应用、Web 开发及移动应用等领域的应用案例,并展望未来在人工智能、云原生等方面的发展趋势。
49 3
|
2月前
|
开发框架 安全 Java
.NET技术的独特魅力与优势,涵盖高效的开发体验、强大的性能表现、高度的可扩展性及丰富的生态系统等方面,展示了其在软件开发领域的核心竞争力
本文深入探讨了.NET技术的独特魅力与优势,涵盖高效的开发体验、强大的性能表现、高度的可扩展性及丰富的生态系统等方面,展示了其在软件开发领域的核心竞争力。.NET不仅支持跨平台开发,具备出色的安全性和稳定性,还能与多种技术无缝集成,为企业级应用提供全面支持。
46 3
|
2月前
|
人工智能 Java 编译器
.NET 9 发布 性能提升、AI 支持与全方位改进
【11月更文挑战第5天】.NET 9 引入了多项改进,包括性能提升、AI 支持和全方位功能优化。性能方面,编译器增强、服务器 GC 优化、矢量化和硬件支持等提升了执行效率。AI 方面,新增学习材料、合作伙伴生态、原生支持和生成式 AI 集成。此外,.NET Aspire 组件升级、编程语言新功能和开发工具更新进一步提升了开发体验。
|
3月前
|
测试技术
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
本文介绍了如何使用Pytest和Allure生成自动化测试报告。通过安装allure-pytest和配置环境,可以生成包含用例描述、步骤、等级等详细信息的美观报告。文章还提供了代码示例和运行指南,以及重构项目时的注意事项。
376 1
自动化测试项目学习笔记(五):Pytest结合allure生成测试报告以及重构项目
|
3月前
|
测试技术 API 开发者
精通.NET单元测试:MSTest、xUnit、NUnit全面解析
【10月更文挑战第15天】本文介绍了.NET生态系统中最流行的三种单元测试框架:MSTest、xUnit和NUnit。通过示例代码展示了每种框架的基本用法和特点,帮助开发者根据项目需求和个人偏好选择合适的测试工具。
84 3