前方：
其实完成这个功能之前，我就在思考：是先把想法写了来，和大伙讨论讨论后再实现，还是实现后再写文论述自己的思维。
忽然脑后传来一个声音说：你发文后会进入发呆阶段。
所以还是静下心，让我轻轻地把代码撸完再说。
最近这几天，自己在大脑里演练过各种技术难点，解决方案，推敲了各种该解决的问题，觉的差不多了，才决定撸码。
忽然发觉，原来代码是可以写在大脑里的。
要是你看到一个员工坐着2天没写一行代码，说明人家是高手，正在大脑编程。
好，不扯，回正文！
传统ORM的二级缓存为何失效？
有些ORM会提供：如Hibernate。
有些不提供：如EF，不提供是因为知道提供了也没啥鸟用，因为：
1：你不能强迫一个项目全部用单实体编程，多表时，用户更偏向于执行SQL语句。
2：没有分布式缓存做为基础，解决不了多应用程序部署的缓存策略问题。
因此：
1：若控制不了整个项目用户的SQL语句，单机的搞不了。
2：没有分布式缓存做基础，分布式的都搞不了。
这也是为啥EF一直不提供，是因为看到Hibernate虽然提供但并没多大卵用的原因吧！
疑惑数据库已有缓存，为何框架还要造孽？
主要原因：
1：数据库从请求到建立缓存，需要时间（框架缓存可以减缓数据库缓存失效时压力)
2：数据库是有链接数限制的，不可能允许大量并发的直连，需要外界分压。
3：数据库的缓存是单机性。
4：数据库发数据往服务器的时间比本机缓存的长。
自动缓存设计前的一些思考：
1：一开始我思考的缓存策略，是细化到行或列，于是了解数据库自身缓存后发现数据库目前也只是做了以表为单位。
2：MSSQL是有提供SqlDependency的缓存依赖项的，它可以从数据库层面通知你的数据何时失效。
3：但是SqlDependency和SqlCommand依赖太深，无法在所有数据库层面通用。
4：SqlDependency的缓存依赖只能在本地缓存。
5：其它数据库不支持依赖通知。
6：所以方案只能通过全局执行与分析，来处理缓存及失效策略。
7：单机时：全局拦截分析，如何分析出表？
8：应用分布式时：缓存及时失效？
9：用户直接修改数据库时：缓存如何失效？
还有好多好多问题，一直在思考......
缓存什么？
1：缓存单个对象时，是直接存档对象的，Cache返回时会根据本地或是远程选择是否Clone返回。。
2：缓存列表时：只存档字段类型仅包含：（数字、布尔、字符、时间、GUID）的字段，并转成Json字符串存档。
技术细节：
A：一个对象存档在本机时，存档的是引用（可能出现误写操作）；存档在分布式时，存档的不是引用，这会在使用时出现不确定性。
B：大对象的存档，在缓存来去间需要序列化和反序列化，性能上降低很多。
因此：将列表转成Json存档，拿到时再还原，可以同时解决A和B的问题。
简单的说，如果对象有长字段，或者有二进制数据，是不会被缓存的，所以MSSQL的Timestamp字段就不要用了；
如果要用：AppConfig.DB.HiddenFields="字段名"，把它隐藏了也行。
缓存时间？
考虑到通常访问量低时都是在中午和晚上的时间，因此，将缓存的对象的时间随机分布（早上的分布在中午失效，下午的分布在晚上失效）
考虑到分页时的查询，通常都关注前面几页，因此前面几页的数据，时间如上的时间段分布。
分页后面的数据，只默认2分钟的缓存时间。
其它规则有待讨论......
缓存多大？
1：在单机状态，检测到内存的可用比例低于15%时，则不再接受缓存。
2：在分布式缓存状态，暂时有多少扔多少。
缓存如何失效：
1：拦截请求：（包括（MAction）增删改查+（MProc）执行自定义语句+（MDataTable）批量方法）
2：分析语句的关联表（单表的可以拿表名，视图的拿关联结构涉及的表名，存储过程（目前没法），自定义SQL（语句分析出表名），批量（直接拿表名）
3：技术难点：如何从未知的SQL或视图中准确的分析出所有关联的表。
4：缓存失效：执行以下方法应该失效：增删改，执行ExeNonQuery，批量语句。
5：技术难点：
1：对于视图（关联了多个表，如何根据一个表名，关联到相应涉及的视图语句失效？）
2：对于分布式的应用，A服务更新，如何B服务器也失效。
如何处理修改频繁的表：
1：一开始想增加配置，让用户设置不参与缓存的表，认真思考后，发现根据缓存失效的时间和次数，可自动分析判断一个表是否修改频繁。
2：表操作相关增删查时，该表被置为失效（相关缓存会被移除），此时设置好时间间隔（6秒），在此时间段对该表相关的不缓存，同时提交的缓存删命令也可以无视。
3：对被分析出为修改频繁的表该如何处理？延长相应的不缓存时间，或是？？还需要思考！！！
缓存失效的粒度能不能小？
1：目前的失效，和数据库一样，是以表为单位的。
2：对于插入操作，不会影响某一条数据的读取（所以单条数据的查询，是不应该受到插入操作的影响的）
3：还有其它情形是必然不会影响的？
框架有自动缓存，业务需不需要缓存？
1：数据库有自动缓存，框架的也可以自动缓存。
2：框架有自动缓存，同理业务也可以有缓存。
框架能处理的粒度是有限的，不能细到具体的行或列的缓存级别，因此在业务复杂和并发到一定量后，业务缓存是必要的。
数据库有缓存，业务也可做缓存，为何还思考往框架增加自动缓存？
1：数据库的默认缓存是固定的，需要配置，各种数据库环境不一致。
2：数据库链接池默认是固定的。
3：业务加缓存的事，往往是后期的动作。
现另一个现状是：
1：.NET 群体，存在很多初中级的开发人员，这部分人员的技术成长相对较慢，对缓存或性能调优并不熟。
2：国内有很多的中小网站，默认都抗不起并发，攻击成本很小，几百上千个并发就可以挂你站了。
因此，既然有现实的问题，就可以有对应的解决方案。
V5框架此功能的出现，就是为了从基础层面统一解决这些问题。
只有当.NET行业不在有慢网站的存在，整体提升档次了，有良好的口碑，才会引进更多的BOSS选用 .NET，大伙所期待的.NET春天也就近了。
V5的目前解决的问题：
总体而言，要实现这个功能，核心要解决以下问题：
下面我来将技术一点一点出卖：
5：AOP拦截问题：
首先，要实现这功能，就得全局拦截，扫荡过源码或用过V5的同学，听说过框架本身就有AOP的吧；
其次，得改造这个AOP：框架默认有一个空AOP，当外部有AOP装载的时候，会替换掉这个空AOP。
要实现这个自动缓存：本想在空AOP里实现，放着浪费，但若用户自定义的Aop被装载，又会被替换掉，走不通...
方案想了三四个，思考了三四夜，最后还是在撸码时才确定了现在的模式（这个告诉我们，想的差不多了就该撸码了，要100%想通再撸不太靠谱）：
于是，我这样做了：
原有的Aop，改名成InterAop，不过是挂名的，因为它没有继承IAOP接口，而且从原本的单例变更成多例模式。
这里可以贴两行代码，意思是：在Bengin和End方法调用了外部AOP的接口，并根据外部AOP的状态决定后续的执行流程：
完整的源码你们自己SVN了：https://github.com/cyq1162/cyqdata.git
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
public AopResult Begin(AopEnum action)
{
AopResult ar = AopResult.Continue;
if (outerAop != null)
{
ar = outerAop.Begin(action, Para);
if (ar == AopResult.Return)
{
return ar;
}
}
if (AppConfig.Cache.IsAutoCache && !IsTxtDataBase) // 只要不是直接返回
{
isHasCache = AutoCache.GetCache(action, Para); //找看有没有Cache
}
if (isHasCache) //找到Cache
{
if (outerAop == null || ar == AopResult.Default)//不执行End
{
return AopResult.Return;
}
return AopResult.Break;//外部Aop说：还需要执行End
}
else // 没有Cache，默认返回
{
return ar;
}
}
public void End(AopEnum action)
{
if (outerAop != null)
{
outerAop.End(action, Para);
}
if (!isHasCache && !IsTxtDataBase)
{
AutoCache.SetCache(action, Para); //找看有没有Cache
}
}代码最后很少，但没想出来之前，２天都搞不定。
１：基础单表、视图操作
A：单表，这个是最简单的，传递进来的就是表名；
B：视图，这个麻烦一点，传递的是视图名；
于是，如何从视图获取相关参与的表名？你现在应该不知道，我来告诉你吧：
1
2
DBDataReader sdr=....
DataTable dt = sdr.GetSchemaTable();
这条语句，可以通杀所有的数据库，不用去N种数据库里搜各种元数据藏在哪了！！！
2：多表SQL语句操作：
对于SQL语句，可以用上面的方法，执行一个DataReader再拿，但我弄了一个简单的方法来找关联表：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
internal static List GetTableNamesFromSql(string sql)
{
List<string> nameList = new List<string>();
//获取原始表名
string[] items = sql.Split(' ');
if (items.Length == 1) { return nameList; }//单表名
if (items.Length > 3) // 总是包含空格的select * from xxx
{
bool isKeywork = false;
foreach (string item in items)
{
if (!string.IsNullOrEmpty(item))
{
string lowerItem = item.ToLower();
switch (lowerItem)
{
case "from":
case "update":
case "into":
case "join":
case "table":
isKeywork = true;
break;
default:
if (isKeywork)
{
if (item[0] == '(' || item.IndexOf('.') > -1) { isKeywork = false; }
else
{
isKeywork = false;
nameList.Add(NotKeyword(item));
}
}
break;
}
}
}
}
return nameList;
}有可能会找多，找到后，再过滤一下名称是不是数据库里的表就可以了。
3：直接操作数据库
一开始设置的思维，是动态创建一个表，字段大概是这样的：
表名 更新时间
然后如果手工操作数据库，可以手工更改时间，也可以用触发器引发这里的更新。
然后后台线程定时扫这个表，就知道有没有表被更新了。
不过--------V5目前并木有实现它，只是开放了一个接口，可以让你在代码里调用移除缓存。
这个方法就是：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
public abstract partial class CacheManage
{
/// <summary>
/// 获取系统内部缓存Key
/// </summary>
public static string GetKey(CacheKeyType ckt, string tableName)
{
return GetKey(ckt, tableName, AppConfig.DB.DefaultDataBase, AppConfig.DB.DefaultDalType);
}
/// <summary>
/// 获取系统内部缓存Key
/// </summary>
public static string GetKey(CacheKeyType ckt, string tableName, string dbName, DalType dalType)
{
switch (ckt)
{
case CacheKeyType.Schema:
return TableSchema.GetSchemaKey(tableName, dbName, dalType);
case CacheKeyType.AutoCache:
return AutoCache.GetBaseKey(dalType, dbName, tableName);
}
return string.Empty;
}}
4：跨服务器操作
这个本来是简单的，后来又想麻烦了，因为要兼顾性能问题，缓存移除可能会频繁的问题。
后来，通过增加了缓存类型，来识别本地缓存或分布式缓存，来区别写代码：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
private static void SetBaseKey(string baseKey, string key)
{
//baseKey是表的，不包括视图和自定义语句
if (_MemCache.CacheType == CacheType.LocalCache)
{
if (cacheKeys.ContainsKey(baseKey))
{
cacheKeys[baseKey] = cacheKeys[baseKey].Append("," + key);
}
else
{
cacheKeys.Add(baseKey, new StringBuilder(key));
}
}
else
{
StringBuilder sb = _MemCache.Get<StringBuilder>(baseKey);
if (sb == null)
{
_MemCache.Set(baseKey, new StringBuilder(key));
}
else
{
sb.Append("," + key);
_MemCache.Set(baseKey, sb);
}
}
}6：缓存失效问题
这个问题，流程本来很简单的：
但思考到Cache多，而且分布式时，返回会卡，所以删除Cache操作就变成线程处理了。
后来为了避免线程多开，又把类改成了单例（一开始是多实例的）
现在，又把这线程的线程开启，放到LocalCache里和另一个线程作伴了，然后这个单例类又变更成了静态类。
V5框架怎么使用这功能：
升级版本到最新版即可！
总结：
1：没有这个功能之前：框架解决了三大问题：编程架构的统一（自动化）、数据库压力（读写分离）、服务器压力（分布式缓存）。
2：此功能的存在：是针对从基础层面提升行业项目的整体水平。
3：最近大脑有点发春，一个个创新Idea不断的从我大脑冒出来，折腾的我好累：
要思考架构、落实框架代码、要写文分享，写框架Demo、群里解答。
4：开源不赚钱，又投入这么多精力，只能把它当理想了，希望它有天成为.NET项目的标配数据层。
5：我博客是有打赞插件的，哈。
本文原创发表于博客园，作者为路过秋天，原文链接：http://www.cnblogs.com/cyq1162/p/5659077.html
