缓存技术方案改造思考

简介:

这是我对一个正在进行的重构项目,缓存技术方案改造点之一的一个想法:
rc现有的实时缓存(其实也是准实时,失效时间的存在)设计:
1
存在的问题:现有的实时缓存方案(也并非真正意义上的实时,缓存失效时间的存在),与上游核心系统耦合度较高,核心系统强依赖下游欠核心系统,而且目前的查询服务性能也存在问题,比如区域销售豆腐块接口返回的数据量大,并且从tair->rc,rc->delivery需要经过两次网络传输,这之间网络传输及序列化、反序列化消耗大,而且出现问题时,由于排查链路和时间周期都长;

升级方案的的思考:解耦上游核心系统(如delivery)与资源中心的HSF服务,rc维护数据库数据与tair(ldb)集群数据的一致性(准实时),外部系统的查询直连tair(ldb),不走rc的HSF服务,实现rc系统的读写分离,初步设计如下:
2
这里之所以选择ldb是因为它tair持久化的存储引擎,使用ssd盘存储数据,保证了数据的安全不丢失,并且读写性能远远高于db;
借助TTD中间件指定一台机器运行定时任务,定时任务将db中上一次定时任务结束到这一定时任务开始前变化的数据,从数据库中筛选出来,根据这些数据匹配列表ldb对应中key,针对每一个value值变化的key都去db中捞出key对应的新value值,然后invalid 目前ldb中的value,然后将新value put到ldb中,这样就维护了,数据库与ldb数据的一致性;
rc的读client(如delivery)需要前置mdb缓存从ldb中拿到的数据(访问量巨大的话,如不做mdb缓存,ldb压力很大),查询的时候首先去查询mdb,若有数据,则直接返回,若没有再去查询ldb,在这个设计中,读client不需要调用任何rc的查询服务,rc应用只是负责db与ldb数据的一致性,实现了读client与rc的解耦,上游的如delivery这样核心系统不再需要依赖下游的欠核心的rc系统,交易链路精简;
这个设计存在的问题:还没法做到完全的实时(定时间隔的存在),选择一个较为合理的定时间隔,平衡系统解耦的好处与实时查询的牺牲,实现准实时的系统解耦,还是值得的;
各位看到此文章的大牛,请帮忙评估一下此改造方案的可行性及改造方案的优缺点,期待各位给出宝贵的建议,谢谢大家!

目录
相关文章
|
2月前
|
SQL 存储 缓存
后端架构优化方案探讨
【2月更文挑战第6天】在当今互联网时代,后端的稳定性和高效性至关重要。本文从数据库设计、服务器负载均衡、缓存策略等方面,探讨了后端架构优化的方案,旨在提供一些实用性的建议。
|
8月前
|
存储 缓存 NoSQL
Redis缓存应用与最佳实践:优化性能与处理挑战
本篇深入探讨了Redis在缓存应用中的最佳实践,旨在优化性能并处理常见的缓存挑战。我们首先介绍了设计高效缓存架构的基本原则,展示了如何使用Redis作为缓存存储来提升应用性能。进一步地,我们讨论了缓存更新策略,演示了如何在源数据更新时同时更新缓存,以确保数据的一致性。
360 0
|
9月前
|
存储 缓存 JSON
聊聊方案中心性能优化中做的缓存设计
总结国际站方案中心物流运费计算性能优化过程中面临问题、问题分析、解决思路以及整体解决方案
聊聊方案中心性能优化中做的缓存设计
|
9月前
|
缓存 前端开发 Serverless
前端工程化的前端性能的性能优化方案的网络层面优化之缓存
缓存是一种非常重要的前端性能优化方案,因为它可以在不同的环境中提高网页的响应速度和可接受性。
117 2
|
11月前
|
缓存 应用服务中间件 数据库
【系统架构】大型网站系统架构演化实例——使用缓存改善网站性能
【系统架构】大型网站系统架构演化实例——使用缓存改善网站性能
63 0
|
监控 NoSQL Dubbo
从一个电商平台的库存同步谈性能优化和方案落地
从一个电商平台的库存同步谈性能优化和方案落地
285 0
从一个电商平台的库存同步谈性能优化和方案落地
|
运维 监控 安全
架构-稳定性建设逻辑问题实战总结
稳定性问题分为逻辑问题和架构问题。 逻辑问题三板斧:理念正确、流程规范、刨根问底。
架构-稳定性建设逻辑问题实战总结
|
运维 安全
站场优化改造
近两年,随着淘汰落后产能的稳步实施,对既有铁路信号设备的维修和设备使用质量要求越来越严格,信号设备维护、使用、更新、改造与铁路运输需求之间的矛盾越来越突出,因此加强铁路优化改造,搞好信号设备点检养护,实现由保量向保点、由保产向直接参与生产的转变,确保每一台信号设备全天候安全可靠运转,已成为铁路信号维修的当务之急。
|
传感器 芯片
你以为改造人是未来的事情吗?不,现在就有了!
我们经常在一些科幻电影里看到主角出场就变残废或者身患重病,然后接受电子植入或者是机械改造,从此因祸得福用通过人体改造获得的能力拯救一方百姓。
204 0
你以为改造人是未来的事情吗?不,现在就有了!
|
缓存 监控 网络协议
技术干货 | 应用性能提升 70%,探究 mPaaS 全链路压测的实现原理和实施路径
全链路压测方案下,非加密场景下至少有 70% 的性能提升,加密场景下 10%的性能提升,并在 MGS 扩容完成后可实现大幅的性能提升,调优的结果远超预期。
624 0
技术干货 | 应用性能提升 70%,探究 mPaaS 全链路压测的实现原理和实施路径