开发者社区> chsword> 正文

无缝的缓存读取:双存储缓存策略

简介: 起 最近在做一个WEB的数据统计的优化,但是由于数据量大,执行一次SQL统计要比较长的时间(一般700ms算是正常)。 正常的做法只要加个缓存就好了。 但是同时业务要求此数据最多1分钟就要更新,而且这一分种内数据可能会有较多变化(而且原系统不太易扩展)。
+关注继续查看

最近在做一个WEB的数据统计的优化,但是由于数据量大,执行一次SQL统计要比较长的时间(一般700ms算是正常)。

正常的做法只要加个缓存就好了。

但是同时业务要求此数据最多1分钟就要更新,而且这一分种内数据可能会有较多变化(而且原系统不太易扩展)。

也就是说缓存1分钟就要失效重新统计,而且用户访问这页还很是频繁,如果使用一般缓存那么用户体验很差而且很容易造成超时。

 

看到以上需求,第一个进入我大脑的就是从前做游戏时接触到的DDraw的双缓冲显示方式。

image

在第一帧显示的同时,正在计算第二帧,这样读取和计算就可以分开了,也就避免了读取时计算,提高了用户体验。

我想当然我们也可以将这种方式用于缓存的策略中,但这样用空间换取时间的方式还是得权衡的,因为并不是所有时候都值得这么做,但这里我觉得这样做应该是最好的方式了。

注:为了可以好好演示,本篇中的缓存都以IEnumerable的形式来存储,当然这个文中原理也可以应用在WebCache中。

这里我使用以下数据结构做为存储单元:

namespace CHCache {
    /// <summary>
    /// 缓存介质
    /// </summary>
    public class Medium {
        /// <summary>
        /// 主要存储介质
        /// </summary>
        public object Primary { get; set; }
        /// <summary>
        /// 次要存储介质
        /// </summary>
        public object Secondary { get; set; }
        /// <summary>
        /// 是否正在使用主要存储
        /// </summary>
        public bool IsPrimary { get; set; }
        /// <summary>
        /// 是否正在更新
        /// </summary>
        public bool IsUpdating { get; set; }
        /// <summary>
        /// 是否更新完成
        /// </summary>
        public bool IsUpdated { get; set; }
    }
}

有了这个数据结构我们就可以将数据实现两份存储。再利用一些读写策略就可以实现上面我们讲的缓存方式。

整个的缓存我们使用如下缓存类来控制:

/*
 * http://www.cnblogs.com/chsword/
 * chsword
 * Date: 2009-3-31
 * Time: 17:00
 * 
 */
using System;
using System.Collections;
using System.Collections.Generic;
using System.Threading;
namespace CHCache {
    /// <summary>
    /// 双存储的类
    /// </summary>
    public class DictionaryCache : IEnumerable {
        /// <summary>
        /// 在此缓存构造时初始化字典对象
        /// </summary>
        public DictionaryCache()
        {
            Store = new Dictionary<string, Medium>();
        }
        public void Add(string key,Func<object> func)
        {
            if (Store.ContainsKey(key)) {//修改,如果已经存在,再次添加时则采用其它线程
                var elem = Store[key];
                if (elem.IsUpdating)return;  //正在写入未命中
                var th = new ThreadHelper(elem, func);//ThreadHelper将在下文提及,是向其它线程传参用的
                var td = new Thread(th.Doit);
                td.Start();
            }
            else {//首次添加时可能也要读取,所以要本线程执行
                Console.WriteLine("Begin first write");
                Store.Add(key, new Medium {IsPrimary = true, Primary =  func()});
                Console.WriteLine("End first write");
            }

        }
        /// <summary>
        /// 读取时所用的索引
        /// </summary>
        /// <param name="key"></param>
        /// <returns></returns>
        public object this[string key] {
            get {
                if (!Store.ContainsKey(key))return null;
                var elem = Store[key];
                if (elem.IsUpdated) {//如果其它线程更新完毕,则将主次转置
                    elem.IsUpdated = false;
                    elem.IsPrimary = !elem.IsPrimary;
                } 
                var ret = elem.IsPrimary ? elem.Primary : elem.Secondary;
                var b = elem.IsPrimary ? " from 1" : " form 2";
                return ret + b;
            }
        }
        Dictionary<string, Medium> Store { get; set; }
        public IEnumerator GetEnumerator() {
            return ((IEnumerable)Store).GetEnumerator();
        }
    }
}

这里我只实现了插入一个缓存,以及读取的方法。

我读取缓存单元的逻辑是这样的

image 

从2个不同缓存读取当然是很容易了,但是比较复杂的就是向缓存写入的过程:

image

这里读取数据以及写入缓存时我使用了一个委托,在其它线程中仅在需要执行时才会执行。

这里除了首次写入缓存占用主线程时间(读取要等待)以外,其它时间都可以无延时的读取,实现了无缝的缓存。

但我们在委托中要操作缓存的元素Medium,所以要传递参数进其它线程,所以我这里使用了一个辅助类来传递参数进入其它线程:

using System;
namespace CHCache {
    /// <summary>
    /// 一个线程Helper,用于帮助多抛出线程时传递参数
    /// </summary>
    public class ThreadHelper {
        Func<object> Fun { get; set; }
        Medium Medium { get; set; }
        /// <summary>
        /// 通过构造函数来传递参数
        /// </summary>
        /// <param name="m">缓存单元</param>
        /// <param name="fun">读取数据的委托</param>
        public ThreadHelper(Medium m,Func<object> fun) {
            Medium = m;
            Fun = fun;
        }
        /// <summary>
        /// 线程入口,ThreadStart委托所对应的方法
        /// </summary>
        public void Doit()
        {
            Medium.IsUpdating = true;
            if (Medium.IsPrimary) {
                Console.WriteLine("Begin write to 2.");
                var ret = Fun.Invoke();
                Medium.Secondary = ret;
                Console.WriteLine("End write to 2.");
            }
            else {
                Console.WriteLine("Begin write to 1.");
                var ret = Fun.Invoke();
                Medium.Primary = ret;
                Console.WriteLine("End write to 1.");
            }
            Medium.IsUpdated = true;
            Medium.IsUpdating = false;
        }
    }
}

这样我们就实现了在另个线程读取数据的过程,这样就在任何时候读取数据时都会无延时直接读取了。

最后我们写一个主函数来测试一下效果

/*
 * http://www.cnblogs.com/chsword/
 * chsword
 * Date: 2009-3-31
 * Time: 16:53
 */
using System;
using System.Threading;
namespace CHCache
{
    class Program
    {
        public static void Main(string[] args)
        {
            var cache = new DictionaryCache();
            Console.WriteLine("Init...4s,you can press the CTRL+C to close the console window.");
            while (true)
            {
                cache.Add("1", GetValue);
                Thread.Sleep(1000);
                Console.WriteLine(cache["1"]);
            }
        }
        /// <summary>
        /// 获取数据的方法,假设是从数据库读取的,费时约4秒
        /// </summary>
        /// <returns></returns>
        static object GetValue()
        {
            Thread.Sleep(4000);
            return DateTime.Now;
        }
    }
}

得到如下数据:

image

这样就实现了平滑的读取缓存数据而没有任何等待时间

当然这里还有些问题,比如说传递不同参数时的解决方法,但是由于我仅是在一个统计时需要这种缓存提高性能,所以暂没有考虑通用的传参方式。

如果大家对这个话题感兴趣,欢迎讨论。

 

示例下载:

 

Cat Chen一语提醒,其实做缓存的提前加载没有必要使用2个缓存的,于是将列子改了改:无缝缓存读取简化:仅Lambda表达式传递委托

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
10、深入理解计算机系统笔记:存储器层次结构,高速缓存存储器(2)
1、组相联高速缓存(set associative cache) 1 < E < C/B 2、全相联映射(fully associative cache) E = C/B 因为全相联高速缓存需要并行搜索许多相匹配的行,所以构造相对是困难的;因此只适合做小的高速缓存;如虚拟存储器系统中的TLB,它缓存页表项。
1037 0
【CDN 最佳实践】CDN缓存策略解读和配置策略
CDN 作为内容分发网络主要是将资源缓存在 CDN 节点上,然后后续访问即可直接通过 CDN 节点将资源返回给客户端,而不再需要回到源站服务器以加快请求速度。那么 CDN 到底对于哪些请求加速呢?其缓存规则和缓存时间是怎么样的呢?怎么样的缓存规则更加合理呢?本文就对 CDN 的缓存规则解读。
2284 0
由&quot;缓存&quot;到&quot;Memcached分布式缓存&quot;
<pre><span style="font-family:KaiTi_GB2312; font-size:18px"><strong>【学习背景】</strong> <span style="white-space:pre"> </span>在ITOO4.0的时候,自己听了师哥师姐的技术分享,从那开始,Memcached 就留在脑海中了。现在,我们开始了ITOO4.1,在师父的指导下,开
1366 0
阿里华为等大厂的本地缓存、分布式缓存解决方案详解(下)
阿里华为等大厂的本地缓存、分布式缓存解决方案详解
58 0
阿里华为等大厂的本地缓存、分布式缓存解决方案详解(上)
阿里华为等大厂的本地缓存、分布式缓存解决方案详解
44 0
高性能服务器架构(二):缓存清理策略
原文链接:https://mp.weixin.qq.com/s/OopSWbLrzT-V11VDZOpxJw   虽然使用缓存思想似乎是一个很简单的事情,但是缓存机制却有一个核心的难点,就是——缓存清理。
1277 0
还在用 Guava Cache?它才是 Java 本地缓存之王!
Guava Cache 的优点是封装了get,put操作;提供线程安全的缓存操作;提供过期策略;提供回收策略;缓存监控。当缓存的数据超过最大值时,使用LRU算法替换。
55 0
+关注
chsword
多年微软 MVP,在数据、项目管理等多方面有着丰富经验
268
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载