Flutter敏感词过滤实战：基于AC自动机的高效解决方案
在社交、直播、论坛等UGC场景中，敏感词过滤是保障平台安全的关键防线。本文将深入解析基于AC自动机的Flutter敏感词过滤实现方案，通过原理剖析+实战代码+性能对比，带你打造毫秒级响应的高性能过滤系统。
一、为什么选择AC自动机？
传统方案的痛点
- 正则表达式：匹配效率低（O(nm)复杂度）
- 简单遍历：无法处理变形词（如"微-信-付-款"）
- 第三方API：网络延迟影响用户体验
AC自动机的优势
- 多模式匹配：同时检测所有敏感词
- 线性时间复杂度：O(n)处理任意长度文本
- 容错能力：智能处理干扰字符
二、核心实现解析
2.1 Trie树构建（代码详解）
static void _buildTrie(List<String> words) {
_root.clear();
// 构建基础Trie结构
for (var word in words) {
var node = _root;
for (var char in word.toLowerCase().split('')) {
node = node.putIfAbsent(char, () => <String, dynamic>{
})
as Map<String, dynamic>;
}
node['isEnd'] = true; // 结束标记
}
// BFS构建失败指针
final queue = <Map<String, dynamic>>[];
// 初始化第一层节点...
}
技术要点：
- 统一小写处理保证大小写无关
- 使用Map实现轻量级Trie节点
- BFS广度优先遍历构建失败指针
2.2 失败指针（Fail Pointer）
// 关键回溯逻辑
while (failNode != _root && !failNode.containsKey(char)) {
failNode = failNode['fail'] as Map<String, dynamic>? ?? _root;
}
childNode['fail'] = failNode[char] ?? _root;
作用：
- 实现KMP算法的回溯思想
- 避免重复匹配已失败路径
- 构建状态转移的捷径
三、功能增强设计
3.1 干扰字符处理
static final Set<String> _ignoreChars = {
'-', '_', '*', '#', ' '};
// 在检测逻辑中：
if (_ignoreChars.contains(char)) {
tempIndex++; // 跳过但不中断当前路径
continue;
}
支持场景：
- 微__信 → 微信
- 支#付*宝 → 支付宝
- 跨空格匹配
3.2 性能优化策略
- 延迟构建：首次使用时初始化
- 内存优化：共用失败指针减少内存占用
- 预加载机制：应用启动时异步加载词库
四、使用指南
4.1 接入步骤
准备敏感词库（JSON格式）：
{ "words": { "list": ["敏感词", "合法"] } }初始化过滤器：
void main() async { await SensitiveWordsFilter.loadSensitiveWords(); runApp(MyApp()); }执行检测：
bool hasSensitive = SensitiveWordsFilter.containsSensitiveWords(inputText); if (hasSensitive) { showAlertDialog('包含敏感内容'); }
4.2 性能实测
| 文本长度 | 敏感词数量 | 处理时间（ms） |
|---|---|---|
| 500字符 | 1000 | 2.1 |
| 1000字符 | 5000 | 4.3 |
| 5000字符 | 20000 | 18.7 |
五、应用场景扩展
5.1 实时过滤
- 聊天消息输入检测
- 弹幕内容即时过滤
- 评论发布前校验
5.2 内容审核
- 用户昵称合规性检查
- 动态文本违规扫描
- 图片OCR识别后处理
六、扩展优化方向
- 动态词库更新：热加载新敏感词
- 多语言支持：处理Unicode字符
- 机器学习集成：结合NLP识别变种敏感词
- 分级过滤：设置不同敏感级别阈值
结语
本文实现的AC自动机方案，在Flutter应用中达到了平均3ms/千字符的处理速度。相较于传统方案，在保证精度的同时实现了性能的飞跃。建议将敏感词库维护作为长期工作，结合业务场景持续优化，构建全方位的内容安全体系。
完整代码示例如下：
import 'dart:convert';
import "package:flutter/services.dart";
// 敏感词过滤器（基于 AC 自动机实现）
class SensitiveWordsFilter {
// Trie 树根节点
static final Map<String, dynamic> _root = {
};
static bool _isBuilt = false;
// 可扩展的干扰字符
static final Set<String> _ignoreChars = {
'-', '_', '*', '#', ' '};
// 加载敏感词列表并构建 Trie 树
static Future<void> loadSensitiveWords() async {
try {
final jsonString =
await rootBundle.loadString('assets/words/sensitive_words.json');
final sensitiveWordsData = jsonDecode(jsonString);
var listData = sensitiveWordsData['words']['list'];
if (listData is List) {
_buildTrie(List<String>.from(listData));
print("Sensitive words loaded successfully.");
} else {
print("Error: 'list' field is not a valid List.");
}
} catch (e) {
print("Load error: $e");
}
}
// 构建 Trie 树
static void _buildTrie(List<String> words) {
_root.clear();
for (var word in words) {
var node = _root;
for (var char in word.toLowerCase().split('')) {
node = node.putIfAbsent(char, () => <String, dynamic>{
})
as Map<String, dynamic>;
}
node['isEnd'] = true; // 标记敏感词结束
}
// 构建 fail 指针
final queue = <Map<String, dynamic>>[];
for (var entry in _root.entries) {
if (entry.value is Map<String, dynamic>) {
var child = entry.value as Map<String, dynamic>;
child['fail'] = _root;
queue.add(child);
}
}
while (queue.isNotEmpty) {
var parentNode = queue.removeAt(0);
for (var entry in parentNode.entries) {
if (entry.key == 'fail' || entry.key == 'isEnd') continue;
var char = entry.key;
var childNode = entry.value as Map<String, dynamic>;
// 回溯 fail 指针
var failNode = parentNode['fail'] as Map<String, dynamic>? ?? _root;
while (failNode != _root && !failNode.containsKey(char)) {
failNode = failNode['fail'] as Map<String, dynamic>? ?? _root;
}
childNode['fail'] = failNode[char] ?? _root;
if ((failNode[char] as Map<String, dynamic>?)?.containsKey('isEnd') ??
false) {
childNode['isEnd'] = true;
}
queue.add(childNode);
}
}
_isBuilt = true;
}
// 检查消息是否包含敏感词
static bool containsSensitiveWords(String message) {
if (!_isBuilt) {
throw Exception('敏感词列表未初始化');
}
int index = 0;
final lowerMessage = message.toLowerCase();
while (index < lowerMessage.length) {
var node = _root;
int tempIndex = index;
while (tempIndex < lowerMessage.length) {
var char = lowerMessage[tempIndex];
// 如果是干扰字符，跳过但不更新节点
if (_ignoreChars.contains(char)) {
tempIndex++;
continue;
}
// 失配时，沿着 fail 指针回退
while (node != _root && !node.containsKey(char)) {
node = node['fail'] as Map<String, dynamic>? ?? _root;
}
node = node[char] as Map<String, dynamic>? ?? _root;
// 如果当前节点是敏感词结尾，返回 true
if (node.containsKey('isEnd')) return true;
tempIndex++;
}
index++;
}
return false;
}
}
