项目数据批量维护

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

推荐用存储过程更新数据,不会的话可以用以下方法。

项目中某个表中的数据需要维护,数据量巨大。

1.首先将要维护的数据筛选出来,编写脚本执行变量的sql更新操作。

2.csv文件中去批量更新数据,保存文件。

Java代码   收藏代码
  1. <?php  
  2. //ImportCsv.php  
  3. set_time_limit(60);  
  4.   
  5. $link = mysql_connect("localhost","root","orbit");  
  6. mysql_select_db("wms_site_ks01");  
  7. $filePath_unite = "./job_item_id.csv";  
  8.   
  9. if (is_file($filePath_unite)) {  
  10.     $handle_unite = @fopen($filePath_unite,"r");  
  11.     $key=0;  
  12.     while ($data_unite = fgetcsv($handle_unite, 1000",")) {  
  13.         if($key>0){  
  14.             echo "update stock_moves set job_item_id='".$data_unite['9']."' where stock_mv_id=".$data_unite['0'].";"."<br/>";  
  15.             //mysql_query("update stock_moves set job_item_id='".$data_unite['9']."' where stock_mv_id=".$data_unite['0']) or die("Invalid query: " . mysql_error());  
  16.         }  
  17.         $key++;  
  18.         //print "<pre>";print_r($data_unite);die;  
  19.     }  
  20.   
  21.     fclose($handle_unite);  
  22. }else {  
  23.     die("File does not exist");  
  24. }  
  25. ?>  

 例子二 加处理条数限制防止程序内存溢出或处理超时,再加页面自己刷新即可解决,新建导入字段,导入后更新,导完后删除字段import即可

Java代码   收藏代码
  1. <?php  
  2. set_time_limit(0);  
  3. $sql = "select * from core_catalog where level=3 and import=0 limit 30";  
  4. $result = Yii::app()->db->createCommand($sql)->queryAll();  
  5. foreach ($result as $var3 => $key3) {  
  6.     $url = "http://wbmall.bama555.com/api//props?cid=" . $key3['id'] . "&app_key=5318260b3d8f0036";  
  7.     $ch = curl_init($url);  
  8.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 获取数据返回  
  9.     curl_setopt($ch, CURLOPT_BINARYTRANSFER, true); // 在启用 CURLOPT_RETURNTRANSFER 时候将获取数据返回  
  10.     $output = curl_exec($ch);  
  11.     $data = json_decode($output, true);  
  12.     foreach ($data as $info) {  
  13.         $sql = "insert into core_catalog_standard(id, catalog_id, pid, level, name,title,sort)  
  14.                     values({$info['id']}, {$info['gcat_id']}, 01'stand_{$info['id']}''{$info['name']}', {$info['listorder']});";  
  15.         Yii::app()->db->createCommand($sql)->execute();  
  16.     }  
  17.     $sql = 'update core_catalog set import=1 where id=' . $key3['id'];  
  18.     Yii::app()->db->createCommand($sql)->execute();  
  19.     echo 'complate' . $level . "共:" . count($data);  
  20.     echo "<script>setTimeout(window.location.href=window.location.href, 3000);</script>";  
  21.     exit;  
  22. }  
 
相关文章
|
5月前
|
消息中间件 负载均衡 监控
skynet框架:批量服务管理方案
【10月更文挑战第7天】Skynet 框架下的批量服务管理方案通过高效、可靠及可扩展的设计,实现了对大量服务实例的集中管理。该方案涵盖服务注册与发现、消息队列、负载均衡及集群管理等关键技术,确保系统稳定运行并提升响应速度。其优势在于提高系统性能、增强可靠性、便于扩展及简化管理操作,适用于大规模分布式系统、微服务架构、实时数据处理及游戏服务器等多种场景。通过定制化优化,可充分发挥 Skynet 框架的优势,构建高效稳定的分布式系统。
299 6
|
6月前
|
监控 数据挖掘
有效的资源动态管理是确保项目成功和组织效率的关键
有效的资源动态管理是确保项目成功和组织效率的关键
152 70
|
3月前
|
监控 供应链 数据可视化
进度管理:如何确保项目按时完成?
在当今商业环境中,企业面临巨大市场压力,高效的进度管理成为项目成功的关键。进度管理不仅确保项目按时交付,满足客户需求,还涉及优化资源分配、降低风险、提升团队效率及确保项目目标与企业战略对齐。板栗看板等工具通过实时追踪、任务优先级管理和进度监控等功能,帮助企业实现高效进度管理,推动业务目标实现。
|
4月前
|
项目管理
一次性解决文档、任务、进度管理!
在团队合作日益依赖高效工具的背景下,在线文档协作软件如Google Docs、Notion、Trello及板栗看板等,成为提升生产力的关键。这些工具不仅支持文档编辑,还具备项目管理和任务跟踪功能,尤其板栗看板集成了在线文档与看板管理,适合任务跟踪和进度管理,为团队提供一站式解决方案,显著提高工作效率。
|
9月前
|
消息中间件 物联网 数据处理
TDengine 数据接入功能支持 Wonderware 了,不需一行代码完成迁移工作
TDengine 3.2.3.0 引入了 Wonderware Historian (AVEVA Historian) 连接器,简化了数据迁移至 TDengine 的过程,增强时序数据管理与分析。此连接器解决了传统实时数据库扩展性问题,提供成本效益高、国产化的替代方案。TDengine 已支持多种数据源集成,如 OPC、Kafka、MQTT等,打造统一数据平台,助力企业数字化转型。作为高性能时序数据库,TDengine 提供云原生解决方案,减少系统复杂度,加速业务创新。
104 6
|
10月前
|
前端开发
基于jeecgboot的flowable流程增加节点自动跳过功能
基于jeecgboot的flowable流程增加节点自动跳过功能
606 2
|
10月前
|
搜索推荐
基于jeecgboot的flowabale流程节点动态设置审批人的实现
基于jeecgboot的flowabale流程节点动态设置审批人的实现
764 1
|
10月前
|
机器人
Dataphin功能Tips系列(5)-手工表上传及长期维护
有些业务数据是手工excel维护的,这时我们要如何将数据上传至dataphin并进行维护?
140 7
Dataphin功能Tips系列(5)-手工表上传及长期维护
|
10月前
|
小程序 开发者
社区每周丨交易组件新增扩展组件介绍文档及开发成员管理能力优化
社区每周丨交易组件新增扩展组件介绍文档及开发成员管理能力优化
92 11
|
Cloud Native 前端开发
【性能优化上】第三方组织结构同步优化一,分状态,分步骤的设计,你 get 到了吗?
【性能优化上】第三方组织结构同步优化一,分状态,分步骤的设计,你 get 到了吗?