工作四年,关于过滤敏感词,我准备这样干

简介: 工作四年,关于过滤敏感词,我准备这样干

📆 业务场景

提交订单评价时需要对评价内容进行判断,如果出现敏感词则提示修改

🔊这不就是写一个敏感词的校验工具类吗,小问题,说干就干

🖥️业务梳理

  1. 将敏感词存入数据库或者文件中
  2. 读取文件或数据库中敏感词,循环遍历敏感词,判断评价内容中是否包含敏感词,包含则提示报错

📌小技巧

读取文件时不需要每次都读取,用一个静态代码块坐初始化,读取完毕后放入jvm缓存

//敏感词库 通过jvm缓存
    private static final Set<String> sensitiveWords = new HashSet<>();
static {
   
   
    //静态代码块加载敏感词库
    load();
}

📇完整代码

import lombok.extern.slf4j.Slf4j;
import org.springframework.util.CollectionUtils;

import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;

/**
 * 敏感词工具类
 * @author woniu
 * 2023-11-09
 */
@Slf4j
public class SensitiveWordUtil {
   
   

    //敏感词库 通过jvm缓存
    private static final Set<String> sensitiveWords = new HashSet<>();

    static {
   
   
        //静态代码块加载敏感词库
        load();
    }

    /**
     * 从敏感文件中逐行读取,加载到敏感词 set中
     */
    public static void load() {
   
   
        if (CollectionUtils.isEmpty(sensitiveWords)) {
   
   
            InputStream in = SensitiveWordUtil.class.getResourceAsStream("/file/word.txt");
            try (BufferedReader reader = new BufferedReader(new InputStreamReader(in));){
   
   
                String line;
                //逐行读取文件
                while ((line = reader.readLine()) != null) {
   
   
                    sensitiveWords.add(line);
                }
            } catch (FileNotFoundException e) {
   
   
                log.error("读取敏感词库文件错误,文件不存在");
                throw new RuntimeException("读取敏感词库文件错误,文件不存在");
            } catch (IOException e) {
   
   
                log.error("读取敏感词库文件错误,io问题");
                throw new RuntimeException("读取敏感词库文件错误,io问题");
            }
        }
    }


    /**
     * 判断传入文本中是否包含敏感词
     * @param word
     * @return
     */
    public static void containsSensitiveWord(String word) {
   
   
        Iterator<String> iterator = sensitiveWords.iterator();
        while (iterator.hasNext()) {
   
   
            String sensitiveWord = iterator.next();
            if (word.contains(sensitiveWord)) {
   
   
                log.error("匹配到敏感词"+sensitiveWord);
                throw new RuntimeException("评价内容不符合规范,请检查");
            }
        }
    }


    public static void main(String[] args) {
   
   

        // boolean aa = containsSensitiveWord("转让");
        // boolean aa1 = containsSensitiveWord("转让");
        // boolean aa2 = containsSensitiveWord("转让");
        // boolean aa3 = containsSensitiveWord("转让");
        // boolean aa4 = containsSensitiveWord("转让");
    }


}

嗯,速度很快,可以下班了

image-20231109174535083

image-20231113113059583

image-20231109174655588

🖊️最后总结

🖲要熟练掌握技巧,一定多多练习:纸上得来终觉浅,绝知此事要躬行

胖奥特曼悠闲躺着

目录
相关文章
|
5月前
|
测试技术
ACL 2024:大模型性能掺水严重?北大交出答卷:交互评估+动态出题,死记硬背也没用
【7月更文挑战第8天】北大研究团队推出KIEval框架,针对大语言模型(LLMs)的性能评估进行创新。KIEval采用互动评估和动态出题,通过多轮基于知识的对话测试模型理解和应用能力,旨在减少数据污染影响,挑战死记硬背的评估。然而,该方法可能增加计算需求,且评估结果可能受主观因素影响,不适用于所有类型LLMs。[论文链接:](https://arxiv.org/abs/2402.15043)**
103 24
|
7月前
|
数据库
个人日记系统,记录点滴小事,记录生活点点滴滴
个人日记系统,记录点滴小事,记录生活点点滴滴
52 0
|
SQL 安全 数据安全/隐私保护
|
缓存 Java 数据管理
新来了个技术总监,居然要我做一个 IP 属地功能。。不服就干!
新来了个技术总监,居然要我做一个 IP 属地功能。。不服就干!
293 0
新来了个技术总监,居然要我做一个 IP 属地功能。。不服就干!
|
JavaScript
小明特别喜欢打扑克牌,除了喜欢斗地主和德州扑克之外,还喜欢一种叫桥牌的游戏,桥牌的具体规则相当复杂,有叫牌、打牌和计分三个阶段,还有不断变化的局况,局况可能影响叫牌打牌策略。但是小明暂时不关心这一些,
小明特别喜欢打扑克牌,除了喜欢斗地主和德州扑克之外,还喜欢一种叫桥牌的游戏,桥牌的具体规则相当复杂,有叫牌、打牌和计分三个阶段,还有不断变化的局况,局况可能影响叫牌打牌策略。但是小明暂时不关心这一些,
372 0
7-24 悄悄关注 (10 分)
7-24 悄悄关注 (10 分)
132 0
|
SQL 运维 监控
重视失败是让公司成长的几条规则
重视失败是让公司成长的几条规则
229 0

热门文章

最新文章