【奇葩的需求】对整个数据库里的所有表的所有字段的数据操作

简介:

    哎,因为图片服务器的网址变了,所以让把数据库里所有表所有字段的数据里的旧网址替换成新网址,所以就只能写了这么一个代码,貌似效率还不错,20多W的数据量,只用了13秒,好的代码不需要太多的文字来解释

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
<?php 
class  TestAction  extends  Action{
     private  $old_str = '' ;
     private  $new_str = ''
     function  index(){
         set_time_limit(0);
         $tableList = $this ->getTables();
         foreach ( $tableList  as  $k => $v ){
             //如果没有数据则直接执行
             if ( $this ->getDataList( $v )){
                 //获取表字段
                 $fieldList = $this ->getFieldInfo( $v );
                 $list = $this ->db_replace( $v , $fieldList );
                 dump( $list );
             }
         }
     }
 
     private  function  getTables(){
         $model =D( 'Api' );
         $tableList = $model ->getTables();       //获取所有表名
         //处理表名称
         foreach ( $tableList  as  $k => $v ){
             if ( substr ( $v ,0, strlen (C( 'DB_PREFIX' )))!==C( 'DB_PREFIX' ))
                 unset( $tableList [ $k ]);
             else
                 $tableList [ $k ]= str_replace (C( 'DB_PREFIX' ), '' , $v );
         }
         return  $tableList ;
     }
     //获取字段信息
     private  function  getFieldInfo( $table ){
         $model =D( $table );
         $list = $model ->getDbFields();
         return  $list ;
     }
     //查询表中是否有数据
     private  function  getDataList( $table ){
         $model =D( $table );
         $list = $model ->select();
         if ( $list )
             return  true;
         else
             return  false;
     }
     //执行替换
     private  function  db_replace( $table , $field ){
         $tableName =C( 'DB_PREFIX' ). $table ;
         $field = $this ->db_filter( $field );
         if (! empty ( $field )){
             foreach ( $field  as  $k => $v ){
                 $sql = "UPDATE `$tableName` SET `$v` = REPLACE ( `$v`, '$this->old_str', '$this->new_str' ); " ;
                 if (M()->execute( $sql ))
                     $ok []= '替换完成,替换表为.' . $tableName . '|替换字段为' . $v . '<br />' ;
             }
         }
         return  $ok ;
     }
 
     //字段过滤
     private  function  db_filter( $field ){
         $in = array ( 'id' , 'name' , 'title' , 'token' , 'wecha_id' , 'pid' , 'level' , 'uid' );
         foreach ( $field  as  $k => $v ){
             if (in_array( $v , $in )){
                 unset( $field [ $k ]);
             }
         }
 
         return  $field ;
     }
}









本文转自 3147972 51CTO博客,原文链接:http://blog.51cto.com/a3147972/1555169,如需转载请自行联系原作者
目录
相关文章
|
7月前
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
10月前
|
存储 缓存 数据库
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
1019 4
|
5月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
6月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
5月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
168 11
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
639 0
|
数据采集 数据库 Python
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
724 174
|
8月前
|
存储 SQL Java
数据存储使用文件还是数据库,哪个更合适?
数据库和文件系统各有优劣:数据库读写性能较低、结构 rigid,但具备计算能力和数据一致性保障;文件系统灵活易管理、读写高效,但缺乏计算能力且无法保证一致性。针对仅需高效存储与灵活管理的场景,文件系统更优,但其计算短板可通过开源工具 SPL(Structured Process Language)弥补。SPL 提供独立计算语法及高性能文件格式(如集文件、组表),支持复杂计算与多源混合查询,甚至可替代数据仓库。此外,SPL 易集成、支持热切换,大幅提升开发运维效率,是后数据库时代文件存储的理想补充方案。

热门文章

最新文章