node文件读写

在处理大文件时，由于文件大小可能超过服务器内存限制，我们不能一次性将整个文件读入内存。Node.js提供了流（Streams）API，允许我们分块地读取和写入数据，这对于处理大文件非常有用。

以下是一个Node.js程序示例，它使用流来读取一个大文件，并将其内容写入另一个文件，同时确保内存使用保持在较低水平：

const fs = require('fs');
const path = require('path');

// 定义源文件和目标文件路径
const sourceFilePath = path.join(__dirname, 'source.txt');
const targetFilePath = path.join(__dirname, 'target.txt');

// 创建一个可读流
const readStream = fs.createReadStream(sourceFilePath, {
  highWaterMark: 1024 * 1024 // 设置每次读取的块大小为1MB
});

// 创建一个可写流
const writeStream = fs.createWriteStream(targetFilePath);

// 使用管道（pipe）方法将可读流导入可写流
readStream.pipe(writeStream);

// 监听完成事件
writeStream.on('finish', () => {
  console.log('文件写入完成');
});

// 监听错误事件
writeStream.on('error', (error) => {
  console.error('写入文件时发生错误:', error);
});

在这个示例中，我们设置了highWaterMark选项来指定每次从源文件中读取的块大小。这里我们将其设置为1MB，这意味着Node.js将会尽可能保持内存中的数据量不超过这个限制。通过调用pipe方法，我们将可读流与可写流连接起来，数据会自动从源文件传输到目标文件，而不需要我们手动编写读取和写入的逻辑。

当你运行这个程序时，它会开始读取source.txt文件的内容，并将其写入target.txt文件。由于我们使用了流，所以即使源文件非常大，程序也不会消耗过多的内存。