最近遇到个 Excel导入项目,对速度要求高 哪位大佬有经验 目前流程: 1. 建立 主数据,比如 客商 物料档案 2.建立对照表,5种, 比如 价格对照等等 3. 费用模块, 导入费用流水, 每一条流水 要去 匹配档案,然后 匹配5种对照表 从细到粗 比如省份 城市 客商 物料 几个维度,然后计算,然后新增到数据库,同时 要影响库存模块 4.库存模块, 导入期初,导入基地上报(上报结存 不影响现存),导入 基地发货(入库) 要有现存量和出入库流水也就是历史库存查询
3的费用表单 就是 出库流水
对照表估计10万起步,因为随时改动。费用流水 每次导入 20万行,要求5分钟内搞定计算和新增导入 #Java
提高吞吐我认为有这几种方式: 1、用Perl脚本把文件切小,每次处理小文件。 2、用数据自带的导入命令。 3、开启事务,批量提交,最后commit。 4、用临时表导入后再合并到实体表。 5、只做插入操作,update行忽略。
如果导入又要防重insert,重复数据要update,需要审核一下需求合理性。技术上可能真的做不到。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。