如何在Golang中开发文件处理程序_Golang文件读写操作示例

Go文件操作分三类：os.Open/Create需手动Close防泄漏；os.ReadFile/WriteFile适合小文件自动管理资源；bufio.Scanner流式读大文件防OOM。

用 os.Open 和 os.Create 做基础文件读写

Go 中最直接的文件操作方式是通过 os 包的底层函数，适合控制粒度高、需要显式管理资源的场景。但要注意：不手动调用 Close() 会导致文件句柄泄漏。

• os.Open 只支持只读打开，返回 *os.File 和 error；若文件不存在，错误为 os.IsNotExist(err) 为 true
• os.Create 总是创建新文件（存在则清空），等价于 os.OpenFile(name, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0666)
• 务必用 defer f.Close()，但注意：如果 f 是 nil（比如 os.Open 失败后直接 defer），会 panic —— 应先判错再 defer

file, err := os.Open("input.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close() // 安全：file 非 nil

out, err := os.Create("output.txt")
if err != nil {
    log.Fatal(err)
}
defer out.Close()

用 ioutil.ReadFile 和 ioutil.WriteFile 快速读写小文件

Go 1.16 起 ioutil 已被移到 io 包下，推荐用 os.ReadFile 和 os.WriteFile —— 它们自动处理打开、读/写、关闭全过程，代码简洁，适合配置文件、JSON、小文本等场景。

• os.ReadFile("path") 返回 []byte 和 error；不支持按行读或流式处理
• os.WriteFile("path", data, 0644) 第三个参数是权限位，Windows 上会被忽略
• 大文件（如 >10MB）别用这个，容易 OOM；它是一次性加载全部内容到内存

data, err := os.ReadFile("config.json")
if err != nil {
    log.Fatal(err)
}
// 解析 JSON
var cfg Config
json.Unmarshal(data, &cfg)

err = os.WriteFile("backup.json", data, 0644)
if err != nil {
    log.Fatal(err)
}

用 bufio.Scanner 按行读取大文件避免内存爆炸

处理日志、CSV 或其他按行组织的大文件时，os.Read

File 会把整个文件塞进内存。正确做法是用 bufio.Scanner 流式读取，每次只拿一行。

• Scanner 默认单行上限 64KB，超长会报 scanner: token too long；可用 scanner.Buffer(make([]byte, 64*1024), 1 扩容
• 不要在循环里用 scanner.Text() 结果地址做长期保存（底层 buffer 会被复用），需用 string(scanner.Bytes()) 或 append([]byte{}, scanner.Bytes()...) 拷贝
• 遇到二进制文件或非 UTF-8 编码内容，Scanner 可能出错；此时改用 bufio.Reader.ReadLine() 更可控

file, _ := os.Open("access.log")
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
    line := string(scanner.Bytes()) // 安全拷贝
    processLine(line)
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

用 os.OpenFile 控制读写模式和权限位

当需要同时读写、追加、或设置特定权限时，os.OpenFile 是唯一选择。它的标志位组合决定行为，稍不注意就会覆盖文件或无权限写入。

• 常用 flag 组合：os.O_RDONLY（只读）、os.O_WRONLY | os.O_CREATE | os.O_APPEND（追加写）、os.O_RDWR | os.O_CREATE | os.O_TRUNC（读写+清空）
• 权限位（第三个参数）在 Linux/macOS 生效，如 0600 表示仅属主可读写；Windows 忽略该参数，但 Go 仍要求传入（一般填 0644）
• 如果以 O_CREATE 打开但父目录不存在，会报 no such file or directory —— 需提前用 os.MkdirAll

f, err := os.OpenFile("log.txt",
    os.O_WRONLY|os.O_CREATE|os.O_APPEND,
    0644)
if err != nil {
    log.Fatal(err)
}
defer f.Close()
f.WriteString("new entry\n")

实际写文件处理程序时，最容易被忽略的是错误路径的清理（比如部分写入失败后残留临时文件）、编码假设（默认 UTF-8，但日志可能是 GBK）、以及 Windows 下路径分隔符和换行符（\r\n）带来的兼容问题。这些不在标准库自动处理范围内，得自己兜底。