流式读写 trytry 2025-10-17 29 阅读1分钟 读取:从文件或网络中每次读取一小段数据(如一行、一个缓冲区),处理完后再读取下一段,直到全部读完。 写入:每次写入一小段数据,写完后不关闭资源,继续写入下一段,直到所有数据写完。 对比传统的 “一次性读写”(如把整个文件加载到内存),流式读写的最大优势是大幅降低内存占用,避免因数据量过大导致内存溢出(OOM)。 简单说,流式读写是 “化整为零” 处理数据的智慧,让大文件和实时数据的处理变得高效且可控。如json文件是传统方式,jsonl文件操作是流式读写。