MaxComputer-Pyodps之mysql ddl 批量生成odps ddl

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 批量将mysql 的DDL语句转化为odps ddl,潦草之作,可用即可。。。

系统环境:windows 64 位
python版本:2.7
Maxcomputer(原ODPS)

----- 1、安装python2.7(略过,百度一下就可以)

----- 2、安装MySQLdb模块
windows下个人习惯pip 安装 whl文件,虽然不是所有都能顺利安装,但是大部分还是可以的。
下载地址:
https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python

image

下载到本地后,cmd进入dos环境,可以直接切换到下载目录,直接使用命令 pip install mysqlclient-1.3.13-cp27-cp27m-win_amd64.whl 或者pip-script.py install mysqlclient-1.3.13-cp27-cp27m-win_amd64.whl

编译方法:
1、创建个xxx.py的文件,进入dos,切换到py文件路径:python xxx.py

2、使用编译工具:PyCharm、Maxcomputer Studio等工具执行

    #!/usr/bin/python
    # -*- coding: UTF-8 -*-
    # author:zhy

    import MySQLdb
    #####   mysql数据库配置
    def exec_sql(sql):
        conn=MySQLdb.connect(host='数据库地址',user='用户',passwd='密码',db=TABLE_SCHEMA,charset='utf8')
        cursor = conn.cursor()
        cursor.execute(sql)
        rows = cursor.fetchall()
        cursor.close()
        conn.close()
        return rows
    
    #### schema
    TABLE_SCHEMA='mysql'   # mysql数据库元数据库
    sys_id='s01'                      # ods入edw规范:表名+前缀
    target_schema='odps_project'  #odps对应项目名称
    
    ##### 获取mysql表名
    sql='''
        select table_name 
        from information_schema.`TABLES`
        where TABLE_SCHEMA='%s'
        and table_type='BASE TABLE'
    '''%TABLE_SCHEMA
    
    exec_relusts=exec_sql(sql)   # sql执行结果为二维

    out_comment=''    # 定义输出参数
    ###以下并不包含所有mysql字段类型的转换
    for i in exec_relusts:
        TABLE_NAME = i[0]
        print TABLE_NAME
        sql='''
                select
                     TABLE_NAME
                    ,COLUMN_NAME
                    ,case when DATA_TYPE in ('varchar','char','date','longtext','text') then 'string'
                          when DATA_TYPE in ('float') then 'double'
                          when DATA_TYPE = 'tinyint' then 'int'
                          when DATA_TYPE = 'timestamp' then 'datetime'
                          else DATA_TYPE
                     end as DATA_TYPE
                    ,COLUMN_COMMENT
    
                from information_schema.`COLUMNS`
                where TABLE_SCHEMA = '%s'
                and TABLE_NAME = '%s'
                order by TABLE_NAME,ORDINAL_POSITION
             '''%(TABLE_SCHEMA,TABLE_NAME)
    
        rows=exec_sql(sql)
        sql='''
        show create table %s.%s
        '''%(TABLE_SCHEMA,TABLE_NAME)
    
        sql_exec_result= exec_sql(sql)
        ddl_info0= sql_exec_result[0][1]
        if ddl_info0.find('COMMENT=')>1:
            ddl_table_common = ddl_info0[ddl_info0.index("COMMENT="):]
            ddl_table_common= ddl_table_common.replace('=',' ')
        else:
            ddl_table_common="COMMENT ''"
    
        ddl_info='CREATE TABLE IF NOT EXISTS %s.%s_%s (\n'%(target_schema,sys_id,TABLE_NAME)
    
        for row in rows:
            row3=row[3].replace('\r\n','\\r\\n')
            row3=row3.replace('\n','\\n')
            ddl_info=ddl_info+ str(row[1]).upper()+' '+row[2].upper()+' '+"COMMENT'"+ row3+"'\n,"
    
        ddl_info=ddl_info+')'
        ddl_info=ddl_info.replace(')',')')        
        ddl_info=ddl_info+'\n'+ddl_table_common+"\nPARTITIONED BY (PT STRING COMMENT '数据日期')".decode('utf-8')  #如不需分区,需修改
    
        out_comment= out_comment+'-- '+TABLE_NAME +'\n'+ddl_info +'\n;\n'
    
    # print out_comment   
    # 将DDL语句输出到文件
    Output_File=r'D:\data\output'+'\\'+sys_id+'_'+TABLE_SCHEMA+'.sql'
    file_w=file(Output_File,"w")
    file_w.write(out_comment.encode("utf-8"))
    file_w.close()
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
10天前
|
分布式计算 DataWorks 关系型数据库
DataWorks支持将ODPS表拆分并回流到MySQL的多个库和表中
DataWorks支持将ODPS表拆分并回流到MySQL的多个库和表中
19 4
|
2月前
|
SQL 存储 关系型数据库
【MySQL】如何通过DDL去创建和修改员工信息表
【MySQL】如何通过DDL去创建和修改员工信息表
33 1
|
2月前
|
关系型数据库 MySQL Serverless
高顿教育:大数据抽数分析业务引入polardb mysql serverless
高顿教育通过使用polardb serverless形态进行数据汇总,然后统一进行数据同步到数仓,业务有明显高低峰期,灵活的弹性伸缩能力,大大降低了客户使用成本。
|
2月前
|
SQL 关系型数据库 MySQL
学习MySQL中DDL语句的修改字段与删除字段,删除表
学习MySQL中DDL语句的修改字段与删除字段,删除表
|
3月前
|
SQL 分布式计算 大数据
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
18 0
|
2月前
|
存储 关系型数据库 MySQL
Mysql 存储大数据量问题
Mysql 存储大数据量问题
59 1
|
1天前
|
存储 SQL 关系型数据库
【MySQL 数据库】6、一篇文章学习【索引知识】,提高大数据量的查询效率【文末送书】
【MySQL 数据库】6、一篇文章学习【索引知识】,提高大数据量的查询效率【文末送书】
16 0
|
1天前
|
SQL 存储 关系型数据库
【MySQL 数据库】1、MySQL 的 DDL、DML、DQL 语句
【MySQL 数据库】1、MySQL 的 DDL、DML、DQL 语句
11 0
|
27天前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
|
2月前
|
SQL 关系型数据库 MySQL
MySQL数据库——DDL基本操作
MySQL数据库——DDL基本操作