SQL自动化审核初体验

简介:

一、缘起

2015.12.5,广州,ACOUG Asia Tour 广州站

第一次参加ACOUG论坛,会上盖老师分享道:“云时代的DBA将自后向前置、DevOps势在必行—最佳实践是SQL审核”,当时心头一股狂热,原来数据库还能这样玩。

后来也在公司试水SQL审核,制定SQL开发规范、培训开发人员、人肉审核、人肉发布,乐此不疲,以为这就是传说中的数据库DevOps最佳实践;试水一段时间后,发现效果甚微,整个SQL审核过程都是人工,效率很低,而且可笑的是,开发人员也有同样的DB操作权限,干啥要听你DBA的呢?当时很天真的认为,只要DBA在SQL方面比开发更专业,人家就会自觉遵守游戏规则。现在回头看,当时站的太高,过于理想,不够踏实。

2017.5.11-13,北京,DTCC-数据库技术大会

第一次参加DTCC,这应该是转型专职DBA以来,收获最大的3天,全场超过一半讲师都讲到DB自动化运维,自此自动化运维在心里埋下一颗种子。

后来也在公司试水自动化运维,尝试用Python开发了几个小工具,切身感受到自动化带来的便利,自动化确实能避免很多低价值、重复繁琐的劳动。同时也一直在思考,能否借助自动化来实现SQL审核呢?也算是机缘巧合吧,偶然在github上发现一个SQL审核的开源项目archer,折腾试用一番后,两年前的那种狂热又冒出来了。

二、平台介绍

archer

基于inception的自动化SQL操作平台,支持工单、审核、认证、邮件、OSC等功能。

github地址:https://github.com/jly8866/archer

如果对archer做一个分解的话,个人觉得可以分为inception和django

  • inception是内在,负责审核
  • django是外在,负责展示

ps:这种理解,不知道原作者会不会很郁闷,哈哈

f252c3b8e7b40c8462cce9d2f9acbb021268c9eb

inception

一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具

github地址:https://github.com/mysql-inception/inception

c27243896678bc310664737eb3fd311f41b73f2d

Django

Django是一个开放源代码的Web应用框架,由Python写成。采用了MT'V的框架模式,即模型M,模板T和视图V。

三、二次开发

在archer的基础上也做了一些简单的二次开发:

  • 屏蔽单点登录
  • 修复邮件发送bug
  • 显示中文全名
  • 为工程师分配指定的数据库实例

接下来,计划在archer集成更多的功能:

  • MSDB
  • 数据归档
  • 数据库备份
  • 性能报告
  • 巡检报告
四、小结
目前,已经将archer部署到生产环境,也为新上线的某x项目成功发布DB脚本,后续准备逐步铺开。

总的来说,个人觉得效果还是ok的,起码在数据库自动化和DevOps走出了一步,对比两年前的人工审核SQL,总结两点感受最深的经验:

  • 一定要借助自动化工具/平台,纯人工效率实在低
  • 一定要找到合适的审核点,让大家都来遵守,对于SQL审核来说,就是要把DB操作权限掌握在DBA手里,不能对外开放,这点一定要掐死了!!!是的,掐死了,要狠!!!哈哈

五、附录:

最后附上几张平台截图:

f1ca74d5d57d8bc20bd881422bdb3f2ea90034e0


原文发布时间为:2018-01-29

本文作者:蓝剑锋

本文来自云栖社区合作伙伴“老叶茶馆”,了解相关信息可以关注“老叶茶馆”微信公众号

相关文章
|
SQL 关系型数据库 MySQL
Linux系统部署Yearning SQL审核平台结合内网穿透实现公网访问
Linux系统部署Yearning SQL审核平台结合内网穿透实现公网访问
170 0
|
SQL 分布式计算 NoSQL
【SQL 审核查询平台】Archery使用介绍
【SQL 审核查询平台】Archery使用介绍
676 0
【SQL 审核查询平台】Archery使用介绍
|
7月前
|
SQL 监控 安全
SQL Servers审核提高数据库安全性
SQL Server审核是一种追踪和审查SQL Server上所有活动的机制,旨在检测潜在威胁和漏洞,监控服务器设置的更改。审核日志记录安全问题和数据泄露的详细信息,帮助管理员追踪数据库中的特定活动,确保数据安全和合规性。SQL Server审核分为服务器级和数据库级,涵盖登录、配置变更和数据操作等事件。审核工具如EventLog Analyzer提供实时监控和即时告警,帮助快速响应安全事件。
134 1
|
9月前
|
SQL 安全 关系型数据库
SQL自动化注ru-SQLmap入门操作(一)
SQL自动化注ru-SQLmap入门操作(一)
|
9月前
|
SQL 安全 关系型数据库
SQL自动化注茹-SQLmap入门操作(二)
SQL自动化注茹-SQLmap入门操作(二)
|
11月前
|
SQL 存储 数据处理
"SQL触发器实战大揭秘:一键解锁数据自动化校验与更新魔法,让数据库管理从此告别繁琐,精准高效不再是梦!"
【8月更文挑战第31天】在数据库管理中,确保数据准确性和一致性至关重要。SQL触发器能自动执行数据校验与更新,显著提升工作效率。本文通过一个员工信息表的例子,详细介绍了如何利用触发器自动设定和校验薪资,确保其符合业务规则。提供的示例代码展示了在插入新记录时如何自动检查并调整薪资,以满足最低标准。这不仅减轻了数据库管理员的负担,还提高了数据处理的准确性和效率。触发器虽强大,但也需谨慎使用,以避免复杂性和性能问题。
139 1
|
11月前
|
测试技术 Java
全面保障Struts 2应用质量:掌握单元测试与集成测试的关键策略
【8月更文挑战第31天】Struts 2 的测试策略结合了单元测试与集成测试。单元测试聚焦于单个组件(如 Action 类)的功能验证,常用 Mockito 模拟依赖项;集成测试则关注组件间的交互,利用 Cactus 等框架确保框架拦截器和 Action 映射等按预期工作。通过确保高测试覆盖率并定期更新测试用例,可以提升应用的整体稳定性和质量。
130 0
|
11月前
|
Java 测试技术 容器
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
110 0
|
11月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
2821 0
|
SQL 数据库 数据库管理
python自动生成SQL语句自动化
python自动生成SQL语句自动化
559 1

热门文章

最新文章