零拷贝

一只爱撸猫的程序猿
247 阅读5分钟

1. 什么是零拷贝？

零拷贝（Zero-Copy）是计算机科学中的一种技术策略，它可以最小化在计算机的内存和系统缓存之间复制数据的次数，以提高程序的运行效率。

在传统的输入/输出（I/O）操作中，操作系统往往需要多次复制数据，例如从硬盘到内核缓存，然后再从内核缓存复制到用户空间。这种数据复制过程不仅消耗大量的CPU资源，而且会增加系统的内存使用，降低整体性能。

零拷贝技术旨在减少或消除这种数据复制过程。通过使用各种技术（如内存映射（mmap），直接内存访问（DMA），发送文件（sendfile）等）可以直接将数据从源设备发送到目标设备，无需经过内核和用户空间的多次复制，从而大大提高了数据传输效率。

在网络传输、文件系统操作等方面，零拷贝技术都得到了广泛的应用。例如，在高速网络数据传输、大数据处理等领域，零拷贝技术可以极大地提高系统的吞吐量和响应速度，降低系统的CPU使用率。

2.零拷贝有哪些实现方式？

零拷贝（Zero-Copy）的技术主要有以下几种实现方式：

  1. 内存映射（Memory-mapped I/O, mmap）：内存映射文件（Memory-mapped file）是一种将文件或其他资源映射到进程的地址空间，实现文件或资源和内存一一对应的方法。通过这种方式，可以避免在用户空间和内核空间之间来回复制数据，直接操作内存即可完成文件的读写。这样不仅可以降低CPU的使用率，还可以提高数据读写的效率。

  2. 直接内存访问（Direct Memory Access, DMA）：DMA是一种允许某些硬件子系统在不经过CPU的情况下，直接访问系统内存的技术。通过DMA，输入输出设备可以直接访问内存，而无需CPU参与数据的复制，这样可以减少CPU的负载，提高数据传输的效率。

  3. 发送文件（sendfile）：sendfile是Linux系统中的一种系统调用，它可以直接将数据从文件系统传输到另一个socket，避免了数据在用户空间和内核空间之间的复制，提高了数据传输的效率。sendfile特别适用于文件服务器等需要大量读写文件的场景。

  4. splice和vmsplice：这是Linux 2.6.17之后引入的两个系统调用，可以实现数据在内核中的移动，而无需将数据复制到用户空间。splice可以将数据从一个文件描述符移动到另一个文件描述符，而vmsplice则可以将用户空间的内存向量（一组散乱的内存块）"粘贴"到内核的管道中。

  5. 用户态文件系统(User Space File Systems, FUSE)：这是一种在用户空间实现文件系统的技术，通过这种方式，可以避免在用户空间和内核空间之间复制数据，提高文件系统的性能。

这些零拷贝技术的共同目标是减少不必要的数据复制，降低CPU的使用率，提高系统的性能。但每种技术都有其适用的场景和限制，需要根据具体的应用场景选择合适的技术。

3.Java中常用的零拷贝方式？

Java中的确有零拷贝（Zero-Copy）的实现方式。其中最常见的两种方式是：FileChannel的transferTo/transferFrom方法，和MappedByteBuffer内存映射文件的方式。

  1. FileChannel的transferTo/transferFrom方法

FileChannel是Java的nio包中的一个类，它提供了transferTo和transferFrom两个方法，可以实现零拷贝文件传输。

例如，你可以使用以下代码实现从一个文件向另一个文件的零拷贝数据传输：

try (FileChannel sourceChannel = new FileInputStream("sourcefile").getChannel();
     FileChannel destChannel = new FileOutputStream("destfile").getChannel()) {

    sourceChannel.transferTo(0, sourceChannel.size(), destChannel);

} catch (IOException e) {
    e.printStackTrace();
}

在这段代码中，sourceChannel.transferTo方法将sourceChannel中的数据直接传输到destChannel中，无需通过用户空间，避免了数据复制。

这个transferTo或transferFrom方法底层就是利用了操作系统提供的sendfile或者splice这样的系统调用，这样就能实现在内核空间进行数据传输，减少了数据在内核空间和用户空间之间的来回复制，实现零拷贝。

  1. MappedByteBuffer内存映射文件

MappedByteBuffer是Java的nio包中的一个类，它可以实现将文件直接映射到内存中，通过直接操作内存来实现对文件的读写，从而避免了数据复制。

以下是一个使用MappedByteBuffer实现文件读写的例子：

try (FileChannel fileChannel = new RandomAccessFile("file", "rw").getChannel()) {

    long fileSize = fileChannel.size();

    MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileSize);

    for (int i = 0; i < fileSize; i++) {
        byte b = mappedByteBuffer.get(i);
        mappedByteBuffer.put(i, (byte) (b + 1));
    }

} catch (IOException e) {
    e.printStackTrace();
}

在这段代码中，MappedByteBuffer将文件直接映射到内存中，通过操作内存来修改文件内容，避免了数据在内核空间和用户空间之间的复制，实现了零拷贝。

这种方式底层是利用了操作系统的mmap系统调用，通过将文件映射到进程的虚拟内存空间，直接操作内存就可以实现对文件的读写，避免了数据复制，提高了性能。

需要注意的是，虽然MappedByteBuffer可以提高文件的读写性能，但是它也有一些缺点。例如，它可能会导致内存溢出（如果文件非常大，超过了JVM能处理的内存大小），而且对MappedByteBuffer的改变可能会直接反映到硬盘上，增加了数据丢失的风险。所以在使用MappedByteBuffer时，需要根据实际的应用场景和需求来做权衡。

avatar
文章
阅读
粉丝