Go语言实战案例-合并多个文本文件为一个

简介: 本案例来自《Go语言100个实战案例》,详细讲解如何使用Go语言合并多个文本文件。内容涵盖文件遍历、读取与写入操作,适合初学者学习文件处理技巧。案例包含完整代码示例和目录结构,帮助理解实际应用场景,如日志整合、数据汇总等。通过此案例,可掌握`filepath.Walk`、`os`、`bufio`等常用包的使用,并了解文件拼接顺序与内容处理方法。

 

以下是《Go语言100个实战案例》中的 文件与IO操作篇 - 案例21:合并多个文本文件为一个 的完整内容,适用于初学者学习文件读取与写入的综合运用。


🎯 案例目标

使用 Go 语言将指定目录下的多个 .txt 文件,合并成一个新的总文件。


🧩 应用场景

  • • 将多个日志、分段文档、数据文件整合为单个文件
  • • 文件归档、汇总导出操作
  • • 初学者锻炼文件操作能力的实战案例

🧠 涉及知识点

  • • 遍历目录读取所有 .txt 文件
  • • 使用 bufioos 进行文件读取与写入
  • • 文件拼接的顺序与内容处理

📂 示例文件结构(同一目录下)

data/
├── part1.txt
├── part2.txt
└── part3.txt

💻 示例代码:合并文本文件

package main
import (
    "bufio"
    "fmt"
    "io"
    "os"
    "path/filepath"
)
func main() {
    inputDir := "./data"             // 输入目录
    outputFile := "merged_output.txt" // 输出文件名
    // 创建输出文件
    out, err := os.Create(outputFile)
    if err != nil {
        fmt.Println("创建输出文件失败:", err)
        return
    }
    defer out.Close()
    // 遍历目录下所有 .txt 文件
    err = filepath.Walk(inputDir, func(path string, info os.FileInfo, err error) error {
        if err != nil {
            return err
        }
        // 只处理 .txt 文件
        if !info.IsDir() && filepath.Ext(path) == ".txt" {
            fmt.Println("正在合并文件:", path)
            err := appendFileContent(path, out)
            if err != nil {
                fmt.Println("合并失败:", err)
            }
        }
        return nil
    })
    if err != nil {
        fmt.Println("遍历目录出错:", err)
        return
    }
    fmt.Println("所有文件合并完成,输出为:", outputFile)
}
// 将单个文件内容追加到输出文件
func appendFileContent(filePath string, out *os.File) error {
    in, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer in.Close()
    reader := bufio.NewReader(in)
    _, err = io.Copy(out, reader)
    if err != nil {
        return err
    }
    // 每个文件内容后加换行分隔
    _, err = out.WriteString("\n")
    return err
}

📤 合并结果(merged_output.txt)

内容会按照文件遍历顺序依次写入,内容中间自动添加换行分隔。例如:

[part1.txt 内容]
...
[part2.txt 内容]
...
[part3.txt 内容]

🛠 技术说明

功能 使用
遍历目录 filepath.Walk
打开文件 os.Open, os.Create
读取写入 bufio.NewReader, io.Copy
判断文件类型 info.IsDir(), filepath.Ext()

🔄 可选优化方向

  • • 对文件名排序后再合并
  • • 跳过空文件或大小为 0 的文件
  • • 每段前添加注释 // 文件名:xxx.txt
  • • 增加合并进度提示或统计信息

✅ 小结

该案例通过完整示例演示了如何使用 Go 语言合并多个文本文件,帮助你熟练掌握文件遍历、读取、写入、扩展处理等实用技能,是文件处理场景的常见需求。


 

相关文章
|
2月前
|
Linux Go iOS开发
Go语言100个实战案例-进阶与部署篇:使用Go打包生成可执行文件
本文详解Go语言打包与跨平台编译技巧,涵盖`go build`命令、多平台构建、二进制优化及资源嵌入(embed),助你将项目编译为无依赖的独立可执行文件,轻松实现高效分发与部署。
|
3月前
|
数据采集 数据挖掘 测试技术
Go与Python爬虫实战对比:从开发效率到性能瓶颈的深度解析
本文对比了Python与Go在爬虫开发中的特点。Python凭借Scrapy等框架在开发效率和易用性上占优,适合快速开发与中小型项目;而Go凭借高并发和高性能优势,适用于大规模、长期运行的爬虫服务。文章通过代码示例和性能测试,分析了两者在并发能力、错误处理、部署维护等方面的差异,并探讨了未来融合发展的趋势。
321 0
|
2月前
|
存储 前端开发 JavaScript
Go语言实战案例-项目实战篇:编写一个轻量级在线聊天室
本文介绍如何用Go语言从零实现一个轻量级在线聊天室,基于WebSocket实现实时通信,支持多人消息广播。涵盖前后端开发、技术选型与功能扩展,助你掌握Go高并发与实时通信核心技术。
|
3月前
|
负载均衡 监控 Java
微服务稳定性三板斧:熔断、限流与负载均衡全面解析(附 Hystrix-Go 实战代码)
在微服务架构中,高可用与稳定性至关重要。本文详解熔断、限流与负载均衡三大关键技术,结合API网关与Hystrix-Go实战,帮助构建健壮、弹性的微服务系统。
457 1
微服务稳定性三板斧:熔断、限流与负载均衡全面解析(附 Hystrix-Go 实战代码)
|
3月前
|
安全 Go 开发者
Go语言实战案例:使用sync.Mutex实现资源加锁
在Go语言并发编程中,数据共享可能导致竞态条件,使用 `sync.Mutex` 可以有效避免这一问题。本文详细介绍了互斥锁的基本概念、加锁原理及实战应用,通过构建并发安全的计数器演示了加锁与未加锁的区别,并封装了一个线程安全的计数器结构。同时对比了Go中常见的同步机制,帮助开发者理解何时应使用 `Mutex` 及其注意事项。掌握 `Mutex` 是实现高效、安全并发编程的重要基础。
|
3月前
|
数据采集 Go API
Go语言实战案例:使用context控制协程取消
本文详解 Go 语言中 `context` 包的使用,通过实际案例演示如何利用 `context` 控制协程的生命周期,实现任务取消、超时控制及优雅退出,提升并发程序的稳定性与资源管理能力。
|
3月前
|
数据采集 Go API
Go语言实战案例:多协程并发下载网页内容
本文是《Go语言100个实战案例 · 网络与并发篇》第6篇,讲解如何使用 Goroutine 和 Channel 实现多协程并发抓取网页内容,提升网络请求效率。通过实战掌握高并发编程技巧,构建爬虫、内容聚合器等工具,涵盖 WaitGroup、超时控制、错误处理等核心知识点。
|
3月前
|
Go 开发者
Go语言实战案例:使用select监听多个channel
本文为《Go语言100个实战案例 · 网络与并发篇》第5篇,详解Go并发核心工具`select`的使用。通过实际案例讲解如何监听多个Channel、实现多任务处理、超时控制和非阻塞通信,帮助开发者掌握Go并发编程中的多路异步事件处理技巧。
|
1月前
|
存储 安全 Java
【Golang】(4)Go里面的指针如何?函数与方法怎么不一样?带你了解Go不同于其他高级语言的语法
结构体可以存储一组不同类型的数据,是一种符合类型。Go抛弃了类与继承,同时也抛弃了构造方法,刻意弱化了面向对象的功能,Go并非是一个传统OOP的语言,但是Go依旧有着OOP的影子,通过结构体和方法也可以模拟出一个类。
156 1
|
3月前
|
Cloud Native 安全 Java
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
286 1