数据层缓存(网站性能翻10倍)

简介: 缓存是一把尖刀,合理使用可大大提升吞吐率!

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目。

开源地址:https://github.com/NewLifeX/X (求star, 760+)

 

缓存是一把尖刀,合理使用可大大提升吞吐率!

 

历史背景

2006年,某某省电网门户卒!

经查,首页某个sql先后执行了8次,正好对应页面上8大块新闻列表。

实在忍无可忍,于是在底层用Hashtable做了一层sql/DataSet缓存,当时.NET1.1好像还没有泛型字典。

于是世界清静了,效果还不错,特别对于访问量很大的门户网站。

 

XCode的数据层缓存设计于2003年,那时候只做网站和普通MIS系统,数据库性能还很差……

 

数据层缓存:以查询sql为key,把查询结果缓存起来,提升系统性能!

 

数据层缓存

经过16年的发展,XCode里面数据层缓存曾经一度被干掉,若干年后又请回来,现在是这个样子:

数据层DAL内,所有查询类方法 Query/Select/SelectCount 都先走一趟缓存(默认配置关闭);

所有添删改操作类方法 Execute 都清空本DAL连接的所有缓存;

 

** 多年前,查询方法指定要用到的表名,添删改方法指定会影响到的表名,做到部分表缓存过期。现在数据库性能大有提升,为了“简约”设计理念,简化了缓存设计。

 

缓存设置

数据层缓存只有一个缓存时间的设置DataCacheExpire,位于配置文件 config/xcode.config 中,默认0秒表示不启用。

设置缓存时间的方式有多种:

  • 修改配置文件 config/xcode.config 中的DataCacheExpire
  • 魔方,魔方设置页面,修改数据中间件页的“数据层缓存”
  • 直接修改DAL类的Expire属性
  • 连接字符串中配置DataCache参数,如 DataCache=60

前面两者的本质相同,也是最常见用法。

连接字符串配置提供了个性化,针对部分连接需要打开数据层缓存,或者不同连接采用不同缓存时间的场景。

 

总结

2016年起,XCode采取了“简约”且稍微“保守”的理念,于是数据层缓存默认配置0秒,大部分场景推荐使用10~60秒。

各种网站,推荐过期时间60秒起,经实际线上项目压测,吞吐率可轻易从300rps提升到10000rps以上,命中率99.99%。

每一个应用系统,总会有那么一些表或数据很少改变,非常适合使用数据层缓存,建议在实践中探索得到最优缓存时间!

目录
打赏
0
0
0
0
15
分享
相关文章
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
347 1
基于Spring Data Redis与RabbitMQ实现字符串缓存和计数功能(数据同步)
总的来说,借助Spring Data Redis和RabbitMQ,我们可以轻松实现字符串缓存和计数的功能。而关键的部分不过是一些"厨房的套路",一旦你掌握了这些套路,那么你就像厨师一样可以准备出一道道饕餮美食了。通过这种方式促进数据处理效率无疑将大大提高我们的生产力。
116 32
网站图片缓存设置不当可能会导致哪些问题?
【10月更文挑战第18天】网站图片缓存的合理设置至关重要,需要综合考虑图片的性质、更新频率、用户体验、服务器性能等多方面因素,以避免出现上述各种问题,确保网站的正常运行和用户信息的安全。
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
117 2
数据的存储--Redis缓存存储(二)
MHA2MLA:0.3%数据微调!复旦团队开源推理加速神器,KV缓存狂降96.87%
MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效微调方法,通过引入多头潜在注意力机制(MLA),显著优化基于Transformer的LLM推理效率,降低推理成本。
152 1
MHA2MLA:0.3%数据微调!复旦团队开源推理加速神器,KV缓存狂降96.87%
在资源加载优化中,如何利用浏览器缓存提升性能?
通过以上这些方法,可以有效地利用浏览器缓存来提升资源加载的性能,减少网络请求次数,提高用户体验和应用的响应速度。同时,需要根据具体的应用场景和资源特点进行灵活调整和优化,以达到最佳的效果。此外,随着技术的不断发展和变化,还需要持续关注和学习新的缓存优化方法和策略。
182 53
如何利用浏览器的缓存来优化网站性能?
【10月更文挑战第23天】通过以上多种方法合理利用浏览器缓存,可以显著提高网站的性能,减少网络请求,加快资源加载速度,提升用户的访问体验。同时,要根据网站的具体情况和资源的特点,不断优化和调整缓存策略,以适应不断变化的业务需求和用户访问模式。
448 63
优化Express.js应用程序性能:缓存策略、请求压缩和路由匹配
在开发Express.js应用时,采用合理的缓存策略、请求压缩及优化路由匹配可大幅提升性能。本文介绍如何利用`express.static`实现缓存、`compression`中间件压缩响应数据,并通过精确匹配、模块化路由及参数化路由提高路由处理效率,从而打造高效应用。
392 67
|
8月前
|
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
140 5
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等