使用redis和fastjson做应用和mysql之间的缓存

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

第一次做这种javaweb的项目,难免还是要犯很多错误。
大概也知道,redis常常被用来做应用和mysql之间的缓存。模型大概是这样子的。

为了让redis能够缓存mysql数据库中的数据,我写了很多这样类似的代码:

原来的查询商品


public Product selectProductById(int id) {
    Product product = productMapper.selectByPrimaryKey(id);
    if (product != null) {
        String detail = product.getDetail();
        if (detail != null) {
            product.setDetail(HtmlUtils.string2Html(detail));// 进行html转义,替换html转义符
        }
    }
    return product;
}

用redis缓存之后的查询商品


public Product selectProductById(int id) {
    Product product = JSONObject.parseObject(redisCli.get(PRODUCT_KEY +  id), Product.class);
    if (product != null) {
        product = productMapper.selectByPrimaryKey(id);
        String detail = product.getDetail();
        if (detail != null) {
            product.setDetail(HtmlUtils.string2Html(detail));// 进行html转义,替换html转义符
        }
        redisCli.set(PRODUCT_KEY + product.getId(), JSONObject.toJSON(product).toString(),
                30);
    }
    return product;
}

老板说,不行啊,网站首页太慢了!于是我们又开始在ModelAndView上做文章。
原来首页的代码


@RequestMapping("/wxIndex/{id}")
public ModelAndView goWxIndex(HttpServletRequest request, HttpServletResponse response,
        @PathVariable(value = "id") Integer id) {
    
    ModelAndView mv = new ModelAndView(); 
    mv.setViewName(ViewNameConstant.WXINDEX); 
    //一些逻辑代码
    return mv;
}

于是我们又加了这样的代码:


@RequestMapping("/wxIndex/{id}")
public ModelAndView goWxIndex(HttpServletRequest request, HttpServletResponse response,
        @PathVariable(value = "id") Integer id) {
    
    ModelAndView mv = JSONObject.parseObject(redisCli.get("index"),ModelAndView.class);
    if(mv != null)
    {
        return mv;
    }
    mv = new ModelAndView();
    mv.setViewName(ViewNameConstant.WXINDEX); 
    //一些逻辑代码
    redisCli.put("index",JSONObject.toString(mv),30);
    return mv;
}

于是代码越来越乱。

慢慢学习和适应spring的思想中,明白,我们可以使用拦截的方式去做mysql的缓存。我们拦截到一个sql语句,于是把这条sql语句作为key,把返回的结果作为value保存到redis里面去,失效时间为30秒钟;
期间如果发现一个有insert或者update就把对应表的所有的缓存给清理掉。
有了思想就下手去做好了。不曾想发现mybatis已经提供了对应好的缓存的接口Cache,思想和上述完全一致。
那么我们也就是用他的接口好了。

mybatis默认缓存是PerpetualCache,可以查看一下它的源码,发现其是Cache接口的实现;那么我们的缓存只要实现该接口即可。

该接口有以下方法需要实现:


public abstract interface Cache
  String getId();
  int getSize();
  void putObject(Object key, Object value);   
  Object getObject(Object key);                   
  Object removeObject(Object key);
  void clear();
  ReadWriteLock getReadWriteLock();
}

最重要的两个接口是putObject和getObject;任何select语句都会首先请求getObject函数,如果返回为null,那么再去请求mysql数据库;我们在mysql中取到数据之后,调用putObject函数,进行缓存数据的保存。
序列图为:

网上提供的案例,大部分是这样子:


public class MybatisRedisCache implements Cache {

    private RedisCli redisCli;
    @Override  
    public void putObject(Object key, Object value) {  
        logger.debug(">>>>>>>>>>>>>>>>>>>>>>>>putObject:"+key+"="+value);  
        redisCli.set(SerializeUtil.serialize(key.toString()), SerializeUtil.serialize(value));  
    }  
  
    @Override  
    public Object getObject(Object key) {  
        Object value = SerializeUtil.unserialize(redisCli.get(SerializeUtil.serialize(key.toString())));  
        logger.debug(">>>>>>>>>>>>>>>>>>>>>>>>getObject:"+key+"="+value);  
        return value;  
    }  
}

public class SerializeUtil {  
    public static byte[] serialize(Object object) {  
        ObjectOutputStream oos = null;  
        ByteArrayOutputStream baos = null;  
        try {  
        //序列化  
          baos = new ByteArrayOutputStream();  
          oos = new ObjectOutputStream(baos);  
          oos.writeObject(object);  
          byte[] bytes = baos.toByteArray();  
          return bytes;  
        } catch (Exception e) {  
           e.printStackTrace();  
        }  
          return null;  
        }  
           
    public static Object unserialize(byte[] bytes) {  
        ByteArrayInputStream bais = null;  
        try {  
          //反序列化  
          bais = new ByteArrayInputStream(bytes);  
          ObjectInputStream ois = new ObjectInputStream(bais);  
          return ois.readObject();  
        } catch (Exception e) {  
           
        }  
          return null;  
        } 
} 

如果是通过java提供的序列化进行实体类和String的转换,那么我们要修改所有已经存在的实体Bean类,工作量太大;而且java的序列化效率又低;我们还是考虑使用工程已经引入的fastjson好;使用fastjson,就必须在缓存数据的时候,同时缓存数据的类型;我们使用redis的hash结构,就能解决这个问题

于是接口就成了下面这个样子:


public class MybatisRedisCache implements Cache {
    private RedisCli redisCli;
    @Override
    public void putObject(Object key, Object value) {
        String keyStr = getKey(key);
        
        Map<String,String> map = new HashMap<String,String>();
        //如果是多组数据,那么保存的方式不同,多组的情况需要保存子实体类型
        if(value.getClass().equals(ArrayList.class))
        {
            @SuppressWarnings("unchecked")
            List<Object> list = (List<Object>)value;
            map.put("type", "java.util.ArrayList");
            if(list.size() > 0)
            {
                map.put("subType", list.get(0).getClass().getCanonicalName());
            }
            else
            {
                map.put("subType",Object.class.getCanonicalName());
            }
            map.put("value", JSONObject.toJSONString(value));
        }
        else
        {
            map.put("type", value.getClass().getCanonicalName());
            map.put("value", JSONObject.toJSONString(value));
        }
        this.redisCli.hAllSet(keyStr, map,30);
        this.cacheKeys.add(keyStr);
    }

    @Override
    public Object getObject(Object key) {
        try
        {
            String keyStr = getKey(key);
            
            Map<Object,Object> map = this.redisCli.hAllGet(keyStr);
            String type = (String)map.get("type");
            String value = (String)map.get("value");
            
            if(type == null || value == null)
            {
                return null;
            }
            
            if("java.util.ArrayList".equals(type))
            {
                String subType = (String)map.get("subType");
                return JSONObject.parseArray(value, Class.forName(subType));
            }
            else
            {
                return JSONObject.parseObject(value, Class.forName(type));
            }
        }
        catch (Exception e)
        {
            e.printStackTrace();
            return null;
        }
        
    }
    
    @Override
    public void clear() {
        if(this.cacheKeys.isEmpty())
        {
            return ;
        } 
        for(String key : this.cacheKeys)
        {
            this.redisCli.del(key);
        }
        this.cacheKeys.clear();
    }
}

ps: 我们这里还是把key直接保存在了内存里面,这样存在的问题就是,如果服务器重启,那么需要清理所有的缓存;不然一定会造成脏数据。
或者,我们在保存缓存数据的时候,设置缓存数据的生命时间是30秒即可,希望对大家有所帮助。



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
9天前
|
缓存 NoSQL 关系型数据库
13- Redis和Mysql如何保证数据⼀致?
该内容讨论了保证Redis和MySQL数据一致性的几种策略。首先提到的两种方法存在不一致风险:先更新MySQL再更新Redis,或先删Redis再更新MySQL。第三种方案是通过MQ异步同步以达到最终一致性,适用于一致性要求较高的场景。项目中根据不同业务需求选择不同方案,如对一致性要求不高的情况不做处理,时效性数据设置过期时间,高一致性需求则使用MQ确保同步,最严格的情况可能涉及分布式事务(如Seata的TCC模式)。
35 6
|
16天前
|
存储 消息中间件 NoSQL
Redis数据类型详解:选择合适的数据结构优化你的应用
Redis数据类型详解:选择合适的数据结构优化你的应用
|
21天前
|
缓存 NoSQL 关系型数据库
在Python Web开发过程中:数据库与缓存,MySQL和NoSQL数据库的主要差异是什么?
MySQL是关系型DB,依赖预定义的表格结构,适合结构化数据和复杂查询,但扩展性有限。NoSQL提供灵活的非结构化数据存储(如JSON),无统一查询语言,但能横向扩展,适用于大规模、高并发场景。选择取决于应用需求和扩展策略。
112 1
|
16天前
|
缓存 关系型数据库 MySQL
MySQL 查询优化:提速查询效率的13大秘籍(索引设计、查询优化、缓存策略、子查询优化以及定期表分析和优化)(中)
MySQL 查询优化:提速查询效率的13大秘籍(索引设计、查询优化、缓存策略、子查询优化以及定期表分析和优化)(中)
|
3天前
|
缓存 NoSQL Java
使用Redis进行Java缓存策略设计
【4月更文挑战第16天】在高并发Java应用中,Redis作为缓存中间件提升性能。本文探讨如何使用Redis设计缓存策略。Redis是开源内存数据结构存储系统,支持多种数据结构。Java中常用Redis客户端有Jedis和Lettuce。缓存设计遵循一致性、失效、雪崩、穿透和预热原则。常见缓存模式包括Cache-Aside、Read-Through、Write-Through和Write-Behind。示例展示了使用Jedis实现Cache-Aside模式。优化策略包括分布式锁、缓存预热、随机过期时间、限流和降级,以应对缓存挑战。
|
12天前
|
存储 缓存 NoSQL
Java手撸一个缓存类似Redis
`LocalExpiringCache`是Java实现的一个本地缓存类,使用ConcurrentHashMap存储键值对,并通过ScheduledExecutorService定时清理过期的缓存项。类中包含`put`、`get`、`remove`等方法操作缓存,并有`clearCache`方法来清除过期的缓存条目。初始化时,会注册一个定时任务,每500毫秒检查并清理一次过期缓存。单例模式确保了类的唯一实例。
11 0
|
22天前
|
NoSQL 关系型数据库 MySQL
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
安装Docker&镜像容器操作&使用Docker安装部署MySQL,Redis,RabbitMQ,Nacos,Seata,Minio
101 1
|
27天前
|
Cloud Native NoSQL 数据管理
Serverless 应用引擎常见问题之首次启动获取不到redis连接如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 3
Serverless 应用引擎常见问题之首次启动获取不到redis连接如何解决
|
1月前
|
NoSQL 关系型数据库 MySQL
Docker安装详细步骤及相关环境安装配置(mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理)
Docker安装详细步骤及相关环境安装配置(mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理)
194 0
|
1月前
|
NoSQL Java 应用服务中间件
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包

热门文章

最新文章