按分类统计商品总数的性能优化思考

简介: 如上图,在很多购物类商城系统中经常能看到类似的产品分类列表,今天市场部的同志们要求每个分类后要显示该类的产品总数,并且没有产品的分类不用显示。公司这个项目中的分类有近1000种(并且是无限级分类的树型结构),如果按常规统计方法,每个分类ID都去count一下(同时考虑到每个分类的下级子分类产品数),这样的处理效率肯定很低的。

img_ac23d8e8f5b7cfbc83e463921def3763.jpg

如上图,在很多购物类商城系统中经常能看到类似的产品分类列表,今天市场部的同志们要求每个分类后要显示该类的产品总数,并且没有产品的分类不用显示。公司这个项目中的分类有近1000种(并且是无限级分类的树型结构),如果按常规统计方法,每个分类ID都去count一下(同时考虑到每个分类的下级子分类产品数),这样的处理效率肯定很低的。

 

想了个办法从二个层面优化:

1.数据库层面

创建一个临时表,用游标把产品总数分类事先统计好,一次性在数据库中完成,避免ASPX页面中的多次查询请求。

-- =============================================
-- Author:		<菩提树下的杨过>
-- Create date: <2010-05-31>
-- Description:	<分类统计产品总数>
-- =============================================
CREATE PROCEDURE up_ProductClassCount 	
AS
BEGIN	
	SET NOCOUNT ON;    
	--select .. into 操作会创建新表,下面的语句保证了创建前先删除同名表
	if (select COUNT(*) from sys.tables where name = 'T_ProductClassCount')>0
		drop table T_ProductClassCount

	--把分类表中的id先插入到临时表中
	SELECT F_Id as F_ClsId ,0 as F_Count INTO T_ProductClassCount FROM T_Class WHERE F_Type='Product'

	--用游标对临时表进行汇总处理
	declare @clsid uniqueidentifier;
	declare @count int;
	--创建游标
	declare _temp_cursor Cursor 
		For Select * From T_ProductClassCount
	Open _temp_cursor --打开游标

	Fetch next From _temp_cursor  
	Into @clsid,@count

	While(@@Fetch_Status = 0)
	Begin
		select @count=COUNT(0) from T_Product where F_ClsId in (select F_Id from T_Class where F_Id=@clsid or F_ParentIdStr like '%' + CONVERT(nvarchar(50),@clsid) + '%');
		update T_ProductClassCount set f_count=@count where f_clsid=@clsid;
		print CONVERT(nvarchar(50),@clsid) + ',' + Convert(nvarchar(50),@count) --辅助调试的打印语句
		Fetch next From _temp_cursor  Into @clsid,@count
	End
	Close _temp_cursor --关闭游标
	Deallocate _temp_cursor --释放游标
END

2.页面的数据缓存优化

分类列表显示时利用数据依赖缓存,如果临时表的数据没有变化,则直接从缓存中取值显示,如果上述临时表的数据有变化,则更新缓存。 

3.产品在增删改时,调用一下步骤1中的存储过程,以更新临时表.

 

注:因为公司平台每天新增的产品数并不多,主要压力来自数据的查询,所以总体看下来这样优化的效果还是比较理想的。

目录
相关文章
|
3月前
|
存储 算法 大数据
指标类需求问题之在商品开发和运营过程中,减少指标计算以节省人效要怎么操作
指标类需求问题之在商品开发和运营过程中,减少指标计算以节省人效要怎么操作
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
|
Java Spring
统计业务方法耗时【项目 商城】
统计业务方法耗时【项目 商城】
114 0
统计业务方法耗时【项目 商城】
|
数据挖掘
白话Elasticsearch41-深入聚合数据分析之案例实战__过滤+聚合:统计价格大于2000的电视平均价格
白话Elasticsearch41-深入聚合数据分析之案例实战__过滤+聚合:统计价格大于2000的电视平均价格
93 0
|
SQL 机器学习/深度学习 监控
网站流量日志分析--统计分析--复合指标分析--平均访问深度|学习笔记
快速学习网站流量日志分析--统计分析--复合指标分析--平均访问深度
445 0
网站流量日志分析--统计分析--复合指标分析--平均访问深度|学习笔记
|
SQL 监控 HIVE
网站流量日志分析--统计分析--复合指标分析--平均访问时长|学习笔记
快速学习网站流量日志分析--统计分析--复合指标分析--平均访问时长
347 0
网站流量日志分析--统计分析--复合指标分析--平均访问时长|学习笔记
|
SQL 数据采集 监控
网站流量日志分析--统计分析--复合指标分析--平均访问频度|学习笔记
快速学习网站流量日志分析--统计分析--复合指标分析--平均访问频度
219 0
网站流量日志分析--统计分析--复合指标分析--平均访问频度|学习笔记
|
监控 数据挖掘 开发者
网站流量日志分析--统计分析--复合指标分析--跳出率|学习笔记
快速学习网站流量日志分析--统计分析--复合指标分析--跳出率
199 0
网站流量日志分析--统计分析--复合指标分析--跳出率|学习笔记
|
SQL 数据可视化 数据库
商品统计可视化|学习笔记
快速学习 商品统计可视化
101 0
商品统计可视化|学习笔记
下一篇
无影云桌面