把几次导出的订单明细合并到一张 Excel 表里,很容易碰到重复记录。有的是同一条记录导入了两遍,有的是同一件商品上午还是「待发货」,下午再导出时已经变成「已发货」。同一个订单号下还可能有多件商品,这些明细都得留着。
所以,动手删之前,先弄清楚哪些列能判断两行是不是同一条记录。下面用同一张订单明细表,演示如何在 Java 中按整行、按订单号,以及按订单号和商品编码去重,再对比三种结果。
一、添加 Maven 依赖
将下面的仓库和依赖配置加入项目的 pom.xml 文件中。
<repositories> <repository> <id>com.e-iceblue</id> <url>https://repo.e-iceblue.cn/repository/maven-public/</url> </repository> </repositories> <dependencies> <dependency> <groupId>e-iceblue</groupId> <artifactId>spire.xls</artifactId> <version>16.10.1</version> </dependency> </dependencies>
二、准备订单明细表
在 订单明细.xlsx 的第一张工作表中录入下面的数据。第 1 行是表头,数据区域为 A1:E7。示例会删除工作表中的整行,测试时把这张明细表单独放在一张工作表里。将文件保存到程序的工作目录。下面三个示例各自读取这份原表,并将结果另存为新文件。
订单号 |
客户 |
商品编码 |
金额 |
状态 |
DD1001 |
张三 |
SKU-A |
199 |
待发货 |
DD1001 |
张三 |
SKU-A |
199 |
待发货 |
DD1001 |
张三 |
SKU-A |
199 |
已发货 |
DD1001 |
张三 |
SKU-B |
59 |
已发货 |
DD1002 |
李四 |
SKU-C |
88 |
已发货 |
DD1002 |
李四 |
SKU-C |
88 |
已发货 |
三、整行去重
如果是同一份数据被重复导入,可以直接调用 sheet.removeDuplicates()。这个方法会比较工作表已用区域内的所有列。示例表有 A 到 E 五列,五列的值都相同,两行才算重复。
import com.spire.xls.ExcelVersion; import com.spire.xls.Workbook; import com.spire.xls.Worksheet; public class RemoveDuplicateRows { public static void main(String[] args) { Workbook workbook = new Workbook(); try { workbook.loadFromFile("订单明细.xlsx"); Worksheet sheet = workbook.getWorksheets().get(0); // 按工作表已用区域中的所有列比较整行 sheet.removeDuplicates(); workbook.saveToFile("订单明细_整行去重.xlsx", ExcelVersion.Version2016); } finally { workbook.dispose(); } } }
该方法会把第一行也纳入比较。示例中的表头单独占一行,与其他记录的值不同,所以会保留。如果需要明确排除表头,可以使用带范围的重载,从第 2 行开始比较。
运行后,订单 DD1001 的两条「待发货」记录只留一条。「已发货」的那条因为状态不同,也会保留。
四、按单列去重
如果只是想得到一份一单一行的订单清单,可以只比较 A 列的订单号。订单号相同的多行会保留第一行。
import com.spire.xls.ExcelVersion; import com.spire.xls.Workbook; import com.spire.xls.Worksheet; public class RemoveDuplicatesByOrderId { public static void main(String[] args) { Workbook workbook = new Workbook(); try { workbook.loadFromFile("订单明细.xlsx"); Worksheet sheet = workbook.getWorksheets().get(0); int lastRow = sheet.getLastRow(); if (lastRow > 1) { // 跳过表头,只比较 A 列订单号 sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0}); } workbook.saveToFile("订单明细_按订单号去重.xlsx", ExcelVersion.Version2016); } finally { workbook.dispose(); } } }
前四个参数指定从 A1 到 E 列最后一行的区域,行号和列号从 1 开始。第五个参数 true 表示第一行是表头。最后一个参数 new int[]{0} 表示只比较所选区域的第一列,也就是 A 列。这个列偏移从 0 开始计算。
这个示例中,`DD1001` 最终只留下 SKU-A 的第一条记录。输出中的金额也来自这条商品明细。需要保留同一订单下的不同商品时,可以用下一种写法。
五、按多列去重
如果同一笔订单中,每个商品编码只应有一条明细,就同时比较 A 列的订单号和 C 列的商品编码。只有这两列的值都相同,才会将后面出现的行视为重复。
import com.spire.xls.ExcelVersion; import com.spire.xls.Workbook; import com.spire.xls.Worksheet; public class RemoveDuplicatesByOrderAndSku { public static void main(String[] args) { Workbook workbook = new Workbook(); try { workbook.loadFromFile("订单明细.xlsx"); Worksheet sheet = workbook.getWorksheets().get(0); int lastRow = sheet.getLastRow(); if (lastRow > 1) { // 跳过表头,同时比较 A 列订单号和 C 列商品编码 sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0, 2}); } workbook.saveToFile("订单明细_按订单号和商品编码去重.xlsx", ExcelVersion.Version2016); } finally { workbook.dispose(); } } }
new int[]{0, 2} 指定所选区域的第 1 列和第 3 列。执行后,`DD1001` 的 SKU-A 和 SKU-B 各保留一条。同一商品允许在一笔订单中分成多条明细时,可以用订单号和明细行号作为比较列。
六、运行结果对比
三种写法都在同一份包含 6 条数据的订单表上运行,得到以下结果。条数均不含表头。
去重规则 |
保留条数 |
输出文件 |
比较 A 到 E 列 |
4 |
|
只比较订单号 |
2 |
|
比较订单号和商品编码 |
3 |
|
怎样保留最新记录?
去重会保留先出现的记录。在示例中,按订单号和商品编码去重后,`DD1001` 的 SKU-A 保留的是「待发货」。如果原表有更新时间列,可以先按更新时间从新到旧排序,再执行去重,让最新一条排在同组数据的前面。
为什么看起来相同的订单号没有合并?
试着检查一下订单号前后有没有空格。`DD1001` 和 DD1001 会被视为不同的值。遇到这种导入数据,可以先清理用于比较的列,再运行去重。