MySQL企业版之Firewall(SQL防火墙)

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: MySQL企业版之Firewall(SQL防火墙)

1. 关于Firewall插件

Friewall是MySQL企业版非常不错的功能插件之一,启用Firewall功能后,SQL的执行流程见下图示意:

image.png

2. Firewall插件的工作方式

Firewall插件的工作机制大概是这样的:

0.将某个账号Register(注册)到Firewall插件中,未注册的账号将不会被Firewall插件保护。

1.先将Firewall插件设置 recording(记录)模式,将各种SQL格式化/模式化之后,形成各种不同的SQL fingerprint(指纹)。例如下面的两条SQL,都会被格式化成一条:

# 原始SQL
a) SELECT * FROM t1 WHERE c1 = 1;
b) SELECT * FROM t1 WEHRE c1 = 1024;

# 格式化之后的SQL
SELECT * FROM t1 WHERE c1 = ?;

备注:在这个过程中,如果总有超长SQL的话,需要加大参数 max_digest_length 的设置,其默认值是1024。

2.Firewall插件会学习上述SQL,形成一个白名单。

3.经过一段时间的训练后,可以将Firewall插件工作模式切换为 protecting(保护)模式,开始工作。这时候就能自动判断有哪些SQL可能是恶意的,会被自动拒绝,并且记录到日志中,如果启用参数 mysql_firewall_trace的话。

4.如果还发生个别SQL被拒绝的情况,则可以将插件切换回 recording(记录)模式,继续学习训练一段时间再切换到工作状态。

5.此外,还有一种工作模式是detecting(探测),在这个模式下,符合白名单的会被放过执行,而其他SQL则会被记录到日志中,但并不会被拒绝执行,这就相当于正式开始工作前的灰度测试模式了。

简言之,就是在业务账号对外正式开放前,先自行模拟各种正常业务请求,使之完成前期必要的学习,正式上线后再开启保护模式。因为外网生产环境中坏人太多,任意时候都有可能有坏蛋提交各种恶意破坏的请求。

3. Firewall插件测试

接下来我们做个简单的测试场景。

首先,先尝试将一个新账号直接设置为 protecting 模式,这时候该账号还未学习任何规则,因此所有的SQL应该都会被拒绝才对。

[root@yejr.run]>CALL mysql.sp_set_firewall_mode('yejr@%', 'PROTECTING');

+-------------------------------------------------------------------------+
| result |
+-------------------------------------------------------------------------+
| ERROR: PROTECTING mode requested for yejr@% but the whitelist is empty. |
+-------------------------------------------------------------------------+

嗯,看来这个插件还挺聪明的,发现规则是空的,直接不让设置了,要不然可能会害的DBA直接下岗走人了吧,哈哈。还是先设置为 recording 模式吧。

[root@yejr.run]>CALL mysql.sp_set_firewall_mode('yejr@%', 'recording');
+-----------------------------------------------+
| read_firewall_whitelist(arg_userhost,FW.rule) |
+-----------------------------------------------+
| Imported users: 0
Imported rules: 0
|
+-----------------------------------------------+
1 row in set (0.01 sec)

# 手动查询 mysql.firewall_users 表确认
[root@yejr.run]>select * from mysql.firewall_users;
+----------+-----------+
| USERHOST | MODE |
+----------+-----------+
| yejr@% | RECORDING |
+----------+-----------+
1 row in set (0.00 sec)

设置成功。

然后用这个新账号连接MySQL,执行一些合规的SQL操作后,再查看白名单规则表:

[root@yejr.run]>select * from mysql.firewall_whitelist;
+----------+--------------------------------------------------------+----+
| USERHOST | RULE | ID |
+----------+--------------------------------------------------------+----+
| yejr@% | SHOW CREATE TABLE `t1` | 8 |
| yejr@% | SELECT * FROM `t1` | 9 |
| yejr@% | SELECT * FROM `t1` WHERE `id` >= ? | 10 |
| yejr@% | SELECT FROM `t1` WHERE `id` = `rand` ( ) ? | 11 |
| yejr@% | SELECT FROM `t1` WHERE `id` = `rand` ( ) ? LIMIT ? | 12 |
| yejr@% | SELECT * FROM `t1` WHERE `c1` >= ? | 13 |
+----------+--------------------------------------------------------+----+

再将该账号修改为 PROTECTING 模式:

[root@yejr.run]>CALL mysql.sp_set_firewall_mode('yejr@%', 'PROTECTING');
Query OK, 6 rows affected (0.01 sec)

执行一些不合规的SQL后,看怎么报错的。

[yejr@yejr.run] [test]>select * from t1 order by rand() limit 1;
ERROR 1045 (28000): Statement was blocked by Firewall

error log中也记录了相应的行为:

2020-06-09T09:50:38.286878Z 26 [Note] [MY-011192] [Server] Plugin MYSQL_FIREWALL reported: 'ACCESS DENIED for 'yejr@%'. Reason: No match in whitelist. Statement: SELECT * FROM `t1` ORDER BY `rand` ( ) LIMIT ?'

再查看几个相关的全局状态参数:

[root@yejr.run] [mysql]>show global status like '%firewall%';
+----------------------------+-------+
| Variable_name | Value |
+----------------------------+-------+
| Firewall_access_denied | 10 | #拒绝次数
| Firewall_access_granted | 11 | #通过次数
| Firewall_access_suspicious | 9 | #在DETECTING模式下不匹配白名单的次数
| Firewall_cached_entries | 6 | #在cache中的白名单数量

想要关闭该账号的Firewall规则,执行下面的指令即可:

[root@yejr.run] [mysql]>call mysql.sp_set_firewall_mode('yejr@%', 'RESET');

或者只是简单地设置为 OFF 也可以:

二者的区别在于,设置为 RESET 时,除了关闭Firewall保护,同时也会将该账号之前训练学习的白名单全部清空,这样下次再想采用Firewall保护就需要重头开始了,除非再也不用了,否则不建议这么做。当已经对一个账号启用Firewall保护后,此时有新增业务SQL不在白名单中,除了将模式改回 RECORDINGDETECTING 之外,其实还可以手动往 mysql.firewall_whitelist 表中插入格式化之后的SQL,再刷新使之生效即可,例如:

[root@yejr.run] [mysql]>call mysql.sp_set_firewall_mode('yejr@%', 'OFF');

4. 总结

简单测试下来,我认为Firewall插件至少有几个地方可以更完善:

1.对SQL进行格式化时,不支持正则匹配模式,建议增加。

2.设置RECORDING模式测试期间,我执行一个SQL后,又手动执行CTRL+C终止,结果记录了一条KILL QUERY ? 的规则,这个规则就不建议记录了。

3.存储过程 mysql.sp_reload_firewall_rules() 可以增加一个参数表示重载规则后,是否要顺便设置账号的规则,例如 CALL mysql.sp_reload_firewall_rules('yejr@%', 'PROTECTING') 表示重载完规则后,顺便将该账号设置为 PROTECTING 模式。

总的来说,Firewall插件工作方式还是比较简单的,直观感觉就是对规则的学习比较初级,真正在线上生产环境启用的话,可能需要记录大量的规则,这也势必会造成性能的下降,以后再做个性能测试吧。

更多关于Firewall插件资料请查看官方手册。

最后亲切友情提醒:MySQL企业版下载后只能试用一个月,试用完毕后记得删除卸载哟,土豪的话直接无脑付费即可哟



            </div>
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
24天前
|
SQL 关系型数据库 MySQL
【MySQL实战笔记】02.一条SQL更新语句是如何执行的-1
【4月更文挑战第4天】SQL更新语句执行涉及查询和日志模块,主要为`redo log`和`binlog`。`redo log`先写日志再写磁盘,保证`crash-safe`;`binlog`记录逻辑日志,支持所有引擎,且追加写入。执行过程分为执行器查找数据、更新内存和`redo log`(prepare状态)、写入`binlog`、提交事务(`redo log`转commit)。两阶段提交确保日志逻辑一致,支持数据库恢复至任意时间点。
20 0
|
2月前
|
SQL 关系型数据库 MySQL
【MySQL】— —熟练掌握用SQL语句实现数据库和基本表的创建。熟练掌握MySQL的安装、客户端登录方法;熟练掌握MySQL的编码、数据类型等基础知识;掌握实体完整性的定义和维护方法、掌握参照完整性
【MySQL】— —熟练掌握用SQL语句实现数据库和基本表的创建。熟练掌握MySQL的安装、客户端登录方法;熟练掌握MySQL的编码、数据类型等基础知识;掌握实体完整性的定义和维护方法、掌握参照完整性
106 1
|
2月前
|
存储 关系型数据库 MySQL
最全MySQL面试60题(含答案):存储引擎+数据库锁+索引+SQL优化等
最全MySQL面试60题(含答案):存储引擎+数据库锁+索引+SQL优化等
194 0
|
1月前
|
SQL 关系型数据库 MySQL
mysql一条sql查询出多个统计结果
mysql一条sql查询出多个统计结果
15 0
|
28天前
|
SQL 关系型数据库 MySQL
SQL Error (2013): Lost connection to MySQL server at 'waiting for initial communication packet', sys...
SQL Error (2013): Lost connection to MySQL server at 'waiting for initial communication packet', sys...
|
6天前
|
XML 网络协议 安全
firewall防火墙详解
firewall防火墙详解
8 1
|
8天前
|
SQL 关系型数据库 MySQL
快速学习MySQL SQL语句
快速学习MySQL SQL语句
|
13天前
|
SQL Oracle 关系型数据库
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
|
14天前
|
SQL NoSQL 关系型数据库
【后端面经】【数据库与MySQL】SQL优化:如何发现SQL中的问题?-02
【4月更文挑战第13天】该文介绍了几个数据库查询优化技巧。首先,创建覆盖索引如&lt;A,B,C&gt;能加速`select A,B,C from student where A=? and B=? and C=?`的执行。其次,为常用于排序的列建立索引,如在`id,update_time`上建索引,可避免数据排序,显著提高查询速度。优化`count(*)`可通过预估值或使用Redis记录总数,但需注意数据一致性问题。使用索引提示如FORCE INDEX可强制使用特定索引,但应谨慎。将`having`的非聚合条件移到`where`里可提升效率。最后,处理深度分页时
21 3
|
16天前
|
SQL 关系型数据库 数据库
【后端面经】【数据库与MySQL】SQL优化:如何发现SQL中的问题?
【4月更文挑战第12天】数据库优化涉及硬件升级、操作系统调整、服务器/引擎优化和SQL优化。SQL优化目标是减少磁盘IO和内存/CPU消耗。`EXPLAIN`命令用于检查SQL执行计划,关注`type`、`possible_keys`、`key`、`rows`和`filtered`字段。设计索引时考虑外键、频繁出现在`where`、`order by`和关联查询中的列,以及区分度高的列。大数据表改结构需谨慎,可能需要停机、低峰期变更或新建表。面试中应准备SQL优化案例,如覆盖索引、优化`order by`、`count`和索引提示。优化分页查询时避免大偏移量,可利用上一批的最大ID进行限制。
64 3