背景
通常我们处理文件都是用python+pandas，确实很香。但是今天突然有人找我用go写一个合并两个csv文件的，需要将两个csv按id进行合并，大致如下图
思路很简单，先读入两个csv文件，然后遍历比较id，如果相同就把另一个文件的内容加到第一个中。然后创建merge.csv，将上一步得到的数据写入csv即可。
代码部分
package main import ( "encoding/csv" "log" "os" "fmt" ) func join(fileName1 string, fileName2 string) (row [][]string) { fs1, _ := os.Open(fileName1) r1 := csv.NewReader(fs1) content1, err := r1.ReadAll() if err != nil { log.Fatalf("can not readall, err is %+v", err) } fs2, _ := os.Open(fileName2) r2 := csv.NewReader(fs2) content2, err := r2.ReadAll() if err != nil { log.Fatalf("can not readall, err is %+v", err) } row = make([][]string, len(content1[1:])) for i, row1 := range content1[1:] { for _, row2 := range content2[1:] { if row1[0] == row2[0] { row[i] = append(row[i], row1[0], row1[1], row1[2], row2[1], row2[2]) } } } return } func edit(filename string, row [][]string) { f, err := os.Create(filename) if err != nil { panic(err) } defer f.Close() //防止乱码 f.WriteString("\xEF\xBB\xBF") w := csv.NewWriter(f) w.Write([]string{"ID", "name", "gender", "course", "score"}) w.WriteAll(row) w.Flush() } func main() { row := join("1.csv", "2.csv") fmt.Println(row) edit("join.csv", row) fmt.Println("合并已完成！") } 复制代码
优化
对于小数据量这样是没有问题，但是一旦数据量增大，不仅读取的内存占用增加，而且遍历比较会很消耗时间。所以优化的话我们可以以行读取，并且想办法使用go的goroutine来增加速度。唉，太久没怎么写go了，一开始切片都有点忘了，最近准备写一些关于go的内容，所以开始从头复习一遍go相关的知识，后期会攒起来慢慢发。
