Python编程:利用peewee的model_to_dict进行数据迁移

简介: Python编程:利用peewee的model_to_dict进行数据迁移
"""
需求:两个结构相同的表A, B,需要从 A表 将数据迁移到 B表
"""
from peewee import *
from playhouse.shortcuts import model_to_dict
from conf import BaseModel  # 配置好的数据库信息
class AModel(BaseModel):
    name = CharField(default="")
    age = IntegerField(default=0) 
    class Meta:
        db_table = 'a_table'
class BModel(BaseModel):
    name = CharField(default="")  
    age = IntegerField(default=0)  
    class Meta:
        db_table = 'b_table'
if __name__ == '__main__':
    for page in range(1, 50):  # 页数,要比实际页数多一页,以免数据漏掉
        rows = AModel.select().paginate(page=page, paginate_by=1000)
        # 随机取出一定数量的数据
        lst = []
        for row in rows:
            dct = model_to_dict(row)
            dct.pop("id")  # 删除字典中的id字段,这个默认会自增
            # 通过 md5 字段判断,避免重复插入
            ret = BModel.filter(BModel.md5 == dct["md5"]).first()
            if ret is None:
                lst.append(dct)
        if len(lst) > 0:
            BModel.insert_many(lst).execute()
        print "数据拷贝完成", "取出数据:%d" % len(rows), "成功插入%d" % len(lst)
    print "数据迁移完成"
相关文章
|
1天前
|
开发者 Python
GitHub飙升!京东认证的“Python编程入门三剑客”究竟好在哪?
Python凭借着简单易学、功能强大,已经跃居TIOB编程语言榜首,并且已经开始了它的霸榜之旅。如何选择一套适合自己的Python学习教程,是每个Python爱好者面临的首要问题。
|
1天前
|
存储 设计模式 算法
Python基础教程(第3版)中文版 第19章 趣味编程 (笔记)
Python基础教程(第3版)中文版 第19章 趣味编程 (笔记)
|
1天前
|
Shell Python
GitHub星标破千Star!Python游戏编程的初学者指南
Python 是一种高级程序设计语言,因其简洁、易读及可扩展性日渐成为程序设计领域备受推崇的语言。 目前的编程书籍大多分为两种类型。第一种,与其说是教编程的书,倒不如说是在教“游戏制作软件”,或教授使用一种呆板的语言,使得编程“简单”到不再是编程。而第二种,它们就像是教数学课一样教编程:所有的原理和概念都以小的应用程序的方式呈现给读者。
|
2天前
|
机器学习/深度学习 存储 自然语言处理
惊艳!老司机熬夜总结的Python高性能编程,高效、稳定、快速!
Python 语言是一种脚本语言,其应用领域非常广泛,包括数据分析、自然语言处理机器学习、科学计算、推荐系统构建等。 能够轻松实现和代码跑得够快之间的取舍却是一个世人皆知且令人惋惜的现象而这个问题其实是可以解决的。 有些人想要让顺序执行的过程跑得更快。有些人需要利用多核架构、集群,或者图形处理单元的优势来解决他们的问题。有些人需要可伸缩系统在保证可靠性的前提下酌情或根据资金多少处理更多或更少的工作。有些人意识到他们的编程技巧,通常是来自其他语言,可能不如别人的自然。
|
2天前
|
机器学习/深度学习 人工智能 算法
|
3天前
|
Python
Python编程实战:如何将列表组装成一棵树结构
本文介绍了如何在Python中将列表转换为树结构。首先定义`TreeNode`类表示节点,包含值和子节点列表。然后,通过`list_to_tree`函数递归地将列表转为树。此外,还提供了添加和删除节点的方法。文章旨在帮助读者理解和操作树结构,以解决实际编程问题。
Python编程实战:如何将列表组装成一棵树结构
|
3天前
|
网络协议 数据库 Python
Python高级编程:你的代码,为何总是“撩”不到那个TA的心?
【6月更文挑战第11天】Python高级编程重在提升编程思维和方法,包括关注代码的可读性、可维护性和性能。要让代码“撩”到期望的效果,需注意整体架构设计,使用有意义的命名和注释,模块化代码。利用timeit测试性能,借助内置数据类型和算法库优化。示例代码展示了列表推导式和内置函数的高效应用。通过提升这些方面,实现业务需求、性能优化和团队协作的目标。
|
4天前
|
存储 Unix Linux
|
4天前
|
调度 数据库 开发者
在Python编程中,并发编程和异步IO是两个重要的概念,它们对于提高程序性能和响应速度具有至关重要的作用
【6月更文挑战第10天】本文介绍了Python并发编程和异步IO,包括并发编程的基本概念如多线程、多进程和协程。线程和进程可通过threading及multiprocessing模块管理,但多线程受限于GIL。协程利用asyncio模块实现非阻塞IO,适合处理IO密集型任务。异步IO基于事件循环,能提高服务器并发处理能力,适用于网络编程和文件操作等场景。异步IO与多线程、多进程在不同任务中有各自优势,开发者应根据需求选择合适的技术。
17 0
|
5天前
|
机器学习/深度学习 数据采集 数据挖掘
掌握Python编程:从基础到高级
【6月更文挑战第8天】本文旨在为初学者和中级程序员提供一条清晰的路径,以掌握Python编程语言。我们将从基本语法开始,逐步深入到更复杂的主题,如面向对象编程、函数式编程和并发编程。无论你是刚刚开始学习编程,还是已经有一些经验并希望提高你的技能,这篇文章都将为你提供有价值的信息和资源。