开发者社区> 问答> 正文

2个百万行级表,在本地,根据一个表对另一表作update set,select,?400报错

环境:mac os10.12 ,intel 2.7G CPU,mysql 5.7,navicat for mysql 11.2,且mysql 作了相关优化,如下图(均在本机使用,小本内存16G):

 

1、需求:

     两表(a/b表)字段均为:id/name/age,因a表数据正确 ,但b表name、age等数据与a表相比,有缺失,但2表id均是一样的,未作外键操作,也未作索引,在a表100行,b表300万行。

  现在想让b表的name/age与a表保持一致,所以根据id来update实现:

方法一:update a,b set a.name=b.name on a.id=b.id;

方法二:update a SET t1.`name`= t2.name from a as t1 inner JOIN b as t2ON t1.ID =t2.ID;(换left join 或 right join均结果一样)

最后没办法,就用select看看:

SELECT a.ID,a.name,b.ID,b.name FROM a left JOIN  b on a.ID=b.ID;

照样报“Lost connection"错误!

后想对ab表作索引,也报同样错误。

2、优化:

按网络上各种方法对my.cnf作了优化,如下图:

3、在mysql终端上操作,等半小时后,电脑没在运行,也不报错,更没结果。

 

求教各位大神,有何办法,update百万级大表。相信不是mysql的问题,而是哪儿没掌握好方法。

 

 

展开
收起
爱吃鱼的程序员 2020-06-08 13:20:46 477 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    php.循环来更新只在本地数据库里操作,不想弄得更复杂a100行??sql都有问题能否指出哪儿有问题?

    连接问题吧

    UPDATEa,bseta.name=b.namewherea.id=b.id

    回复<aclass="referer"target="_blank">@zerov:你那两个SQL都是错的啊这个是我用的第一个方法,照旧报错误

    两个sql都是错的诶大哥。命令行不行就用可视化工具吧。navicat什么之类的。

    UPDATEat1
    INNERJOINbt2ONt1.ID=t2.id
    SETt1.name=t2.name

    你只更新一条试试。指定id。如果能成功的话。就是说明处理的数据太多了。然后就考虑分批处理。如果还是错误的话。就是mysql的问题了。还是报错,见下图。我怀疑Mac的mysql坏了,因为原来我统计一个600百万行的表是没问题的,现在也报Lostconnection错误

    熟悉的错误,不一样的方法

    <imgalt=""height="204"src="https://static.oschina.net/uploads/space/2017/0627/115550_okOo_2538398.png"width="336">

    2020-06-08 13:20:57
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
对 2000 多亿条数据做一次 group by 需要多久? 立即下载
对2000多亿条数据做一次Group By 需要多久 立即下载
Show Me The Money! Cost & Reso 立即下载