Go如何按行读取文本文件_Go文件逐行读取方法说明

Go标准库推荐用bufio.Scanner逐行读取文件,因其安全(默认限长64KB)、自动处理换行符、支持流式读取;必须检查scanner.Err()以捕获I/O错误;需保留换行符时可用bufio.Reader.ReadString;ioutil.ReadFile+strings.Split

仅适用于小文件且错误处理弱。

Go 标准库没有直接提供 readlines() 这类“一次性读所有行”的便捷函数,但用 bufio.Scanner 按行读取是最常用、最安全的方式——它默认限制单行长度(64 * 1024 字节),能避免因超长行导致内存暴增。

bufio.Scanner 安全逐行读取

这是绝大多数场景的首选:自动处理换行符、忽略末尾 \r、内置缓冲、支持大文件流式读取。

  • 必须检查 scanner.Err(),否则遇到 I/O 错误(如磁盘满、权限不足)会静默失败
  • scanner.Text() 返回的是当前行的拷贝,不是底层缓冲区引用,可放心保存
  • 若需保留行尾换行符,改用 scanner.Bytes() + 手动拼接 \n\r\n
  • 默认单行最大长度为 65536 字节;超长行会触发 scanner.Err() == bufio.ErrTooLong,此时需调用 scanner.Bytes() 获取已扫描部分,或提前用 scanner.Buffer() 扩容
file, _ := os.Open("data.txt")
defer file.Close()

scanner := bufio.NewScanner(file) for scanner.Scan() { line := scanner.Text() // 不含换行符 fmt.Println(line) } if err := scanner.Err(); err != nil { log.Fatal(err) // 别漏掉这句! }

bufio.Reader.ReadString('\n') 精确控制换行符

当需要区分 \n\r\n,或必须保留原始换行符时,比 Scanner 更底层可控。

  • 返回的字符串包含终止符(如 "hello\n"),需用 strings.TrimSuffix(line, "\n") 去掉
  • 遇到文件末尾无换行符时,最后一行仍能正常返回(ReadString 会返回已读内容 + io.EOF
  • 不会自动跳过 \r,Windows 文件中可能出现 "line\r\n",需手动处理
  • 性能略低于 Scanner,因为每次调用都做一次切片查找
file, _ := os.Open("data.txt")
defer file.Close()

reader := bufio.NewReader(file) for { line, err := reader.ReadString('\n') if err == io.EOF { if len(line) > 0 { fmt.Print(line) // 最后一行没换行符,直接输出 } break } if err != nil { log.Fatal(err) } fmt.Print(line) // 含 \n }

不推荐:用 ioutil.ReadFile + strings.Split

仅适用于小文件(几 MB 以内)。整块读入内存再切分,既浪费内存又无法处理超大文件。

  • strings.Split(string(data), "\n") 会把空行(连续换行)也作为元素返回,而 Scanner 不会跳过空行,行为其实一致
  • 无法感知读取过程中的 I/O 错误(比如读到一半磁盘故障),错误只在 ReadFile 阶段暴露
  • Windows 文件中若混用 \r\nSplit("\n") 会留下末尾的 \r,需额外 strings.ReplaceAll(..., "\r", "")
data, err := os.ReadFile("data.txt")
if err != nil {
    log.Fatal(err)
}
lines := strings.Split(string(data), "\n")
for _, line := range lines {
    fmt.Println(line) // 注意:line 可能含 \r
}

真正要注意的不是“怎么写”,而是错误处理和边界情况:超长行、缺失换行符、\r\n 混用、I/O 中断——这些在 Scanner 里都得主动查 Err(),在 ReadString 里得区分 io.EOF 和其他错误。漏掉它们,程序在线上跑几天后突然卡住或丢数据,很难排查。