晚上8点在地铁上收到boss需求：把400多张表的关系画出来明早客户要！

2023-02-02 82

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 晚上8点在地铁上收到boss需求：把400多张表的关系画出来明早客户要！

1、故事背景

最近在搞一个项目所以下班有点晚，坐在地铁上习惯性的拿出Ipad刷一会研究生课程。突然手机响了，一看原来是组织语音会议，讨论客户需要系统的er图，有400多张要求晚上搞定明天发出去。由于我们没设置外键约束，因此用powerdesigner无法把表之间的关联关系展示出来。由于表数量多、时间紧急，大家讨论说晚上可能时间来不及，建议和用户沟通延后一下。

2、冷静分析

然后我沉默了一会，突然灵感闪现，说把所有的表结构sql给我，到家后看看（没有当场给出答复，毕竟谋定而后动！）

2.1、难点

时间紧急、工作量大；
画关联关系比较复杂，繁琐；

2.2、思维发散

我能找到一些规律吗？是否可以用程序实现？毕竟用计算机能干的工作，就别让人做。

分析sql提取特征

下面给出sql demo

create table `term_relationships`
(
   `object_id`            bigint(20) unsigned not null default 0 comment '对应文章ID/链接ID',
   `term_taxonomy_id`     bigint(20) unsigned not null default 0 comment '对应分类方法ID',
   `term_order`           int(11) not null default 0 comment '排序',
   primary key (`object_id`, `term_taxonomy_id`)
)
ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_520_ci;
alter table term_relationships comment '文章属性关系表';
/*==============================================================*/
/* Table: term_taxonomy                                         */
/*==============================================================*/
create table `term_taxonomy`
(
   `term_taxonomy_id`     bigint(20) unsigned not null auto_increment comment 'ID',
   `description`          longtext comment '说明',
   `parent`               bigint(20) unsigned not null default 0 comment '属父分类方法ID',
   `count`                bigint(20) not null default 0 comment '文章数统计',
   `site_id`              bigint(20) comment '站点id',
   primary key (`term_taxonomy_id`)
)
ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_520_ci;
alter table term_taxonomy comment '栏目';

经过分析，大部分表外键的命名方式是：被引用表的表名+下划线+id

2.3、解决办法

既然有规律，而且领导意思是准确度可以没那么高，那我就用Python写一个文本解析工具，自动生成外键sql然后再逆向生成er图。

3、方案设计

3.1、数据结构设计

遍历所有行，把表名和键名存储在字典中，数据设计如下：

其中绿色的是key

3.2、遍历全部sql文本，把表名和主键放在dic里面

处理流程如下

3.3、再次遍历sql文本，生成外键sql.

处理流程如下

4、talk is cheap,show me the code

上代码

import math
import re
primayKeyTableMap = {}
class Stack(object):
    def __init__(self):
        self.stack = []
    def push(self, data):
        """
        进栈函数
        """
        self.stack.append(data)
    def pop(self):
        """
        出栈函数，
        """
        return self.stack.pop()
    def gettop(self):
        """
        取栈顶
        """
        return self.stack[-1]
    def __len__(self):
        return len(self.stack)
stack1 =  Stack()
list1 = []
def findTableAndPrimayKey():
    p1 = re.compile(r'[`](.*?)[`]', re.S)
    with open('D:/1.sql','r', encoding='utf-8') as infile:
        for line in infile:
           if 'CREATE TABLE' in line :
                tableName = re.findall(p1, line)[0]
                if len(stack1) != 0 :
                    tempTableKey = stack1.pop()
                    tempTableName = stack1.pop()
                    if len(tempTableKey) > 2:
                        # print(tempTableKey)
                        primayKeyTableMap[tempTableKey] = [tempTableName,tempTableKey]
                    else:
                        # print(tempTableName+'_'+tempTableKey)
                        primayKeyTableMap[removePre(tempTableName)+'_'+tempTableKey] = [tempTableName,tempTableKey]
                stack1.push(tableName)
           if 'PRIMARY KEY' in line :
               keyName = re.findall(p1, line)
               stack1.push(keyName[0])
def addForeignKey():
    tableName = ''
    keyName = ''
    p1 = re.compile(r'[`](.*?)[`]', re.S)
    with open('D:/1.sql','r', encoding='utf-8') as infile:
        for line in infile:
           if 'CREATE TABLE' in line :
                tableName = re.findall(p1, line)[0]
                # stack1.push(tableName)
           elif '_USER_ID' in line or '_user_id' in line:
               foreignCloumn = re.findall(p1, line)
               sql = 'alter table '+tableName+' add foreign key('+foreignCloumn[0]+') references  Z_IS_USER(USER_ID)  on delete cascade on update cascade; '
               print(sql)     
           else :
                foreignCloumn = re.findall(p1, line)
                if len(foreignCloumn) > 0 and  foreignCloumn[0] in primayKeyTableMap and  primayKeyTableMap[foreignCloumn[0]][0]!=tableName :
                    sql = 'alter table '+tableName+' add foreign key('+foreignCloumn[0]+') references '+primayKeyTableMap[foreignCloumn[0]][0]+'('+primayKeyTableMap[foreignCloumn[0]][1]+') on delete cascade on update cascade; '
                    print(sql)
def removePre(tableName):
    return tableName.replace("IS_", "").replace("is_", "").replace("P_", '').replace('QRTZ_','').replace('Z_IS_','').replace('MS_','').replace('acl_','')
def main():
    findTableAndPrimayKey()    
    # print(primayKeyTableMap)
    addForeignKey()
main()

5、总结

本文章利用了python的dic，对应数据结构是map，同时利用了stack存储临时值。
利用了正则来匹配文本
使用了python

6、题外话

敢于打破常规、敢于尝试。

利用程序，2小时我完成了工作，避免了繁琐的画图和加班，哈哈！