开发者社区> 问答> 正文

将15W的数据写入文件

程序的逻辑
1,通过ftp下载300MB左右的文件 数据大概是15W条左右
2,过滤字段,重新写入数据库中
①,先将数据写到文件中
②,mysql使用load_data_infile 来插入数据
现在写入文件的程序逻辑:
读取一行数据
1
然后过滤字段,加入数组 到了1000条写入数据库
写入数据有点慢....有什么能加快速度吗
整条数据有234个字段

展开
收起
蛮大人123 2016-02-11 15:36:56 2230 0
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    量也不大,写文件的部分没有代码,看不出来什么问题,猜一下吧: 把 fopen 拿到循环外。写数据库的话,插入的时候用事务。

    2019-07-17 18:40:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载