CUDA事件、CUDA流是什么？

听AI的话
959 阅读7分钟

CUDA的事件是什么样子？什么样的数据结构？cudaEventCreate(&start)什么效果？

找到了第 1 篇资料：CUDA优化的冷知识 6 |GPU端的CUDA Event计时 - 知乎

找到了第 2 篇资料：cuda编程学习——GPU加速/时间计时Clock 干货向（五） - 知乎

找到了第 3 篇资料：CUDA编程-05：流和事件 - 知乎

找到了第 4 篇资料：【CUDA 基础】6.1 流和事件概述 - 知乎

找到了第 5 篇资料：CUDA 4：GPU加速 - 知乎

找到了第 6 篇资料：从头开始进行CUDA编程：流和事件 - 知乎

找到了第 7 篇资料：【CUDA 基础】6.1 流和事件概述_cuda流与事件-CSDN博客

一共找到 7 篇资料，正在阅读...

找到了 7 篇资料作为参考：

CUDA事件（CUDA Event）是CUDA编程中用于时间测量和流同步的一种机制。它们允许开发者在CUDA流（stream）中创建标记点，以便记录特定操作的开始和结束时间，从而测量这些操作的执行时间。CUDA事件可以被视为一种轻量级的同步机制，它们不会影响GPU的执行速度，因为它们本身不执行任何计算任务，只是用来记录时间。

CUDA事件的数据结构在CUDA的C语言API中定义为cudaEvent_t类型。这个类型在CUDA运行时库中被定义，但具体的实现细节对于开发者来说是透明的。你可以将其视为一个指向CUDA内部数据结构的指针。

当你调用cudaEventCreate(&start)时，你正在创建一个新的CUDA事件对象，并将其地址赋给start变量。这个事件对象随后可以用来记录时间。具体效果如下：

  1. 时间测量：你可以在CUDA流中的特定点调用cudaEventRecord(start, stream)来记录一个事件，然后在另一个点调用cudaEventRecord(stop, stream)来记录另一个事件。之后，你可以使用cudaEventElapsedTime(&time, start, stop)来计算这两个事件之间的时间差，从而得到操作的执行时间。
  2. 流同步：CUDA事件还可以用于同步流。例如，你可以在启动一个耗时的CUDA操作（如内核执行）之前记录一个事件，然后在操作完成后记录另一个事件。通过比较这两个事件，你可以确保在继续执行后续操作之前，耗时操作已经完成。
  3. 资源管理：在某些情况下，你可能需要确保在释放资源（如内存）之前，所有相关的CUDA操作都已经完成。通过使用事件，你可以在释放资源之前等待所有相关事件完成。

创建CUDA事件的代码示例：

cudaEvent_t start, stop;
float time;

// 创建事件
cudaEventCreate(&start);
cudaEventCreate(&stop);

// 在CUDA流中记录开始事件
cudaEventRecord(start, 0); // 0表示默认流

// 执行CUDA操作（如内核启动）

// 在CUDA流中记录结束事件
cudaEventRecord(stop, 0);

// 计算时间差
cudaEventSynchronize(stop); // 确保stop事件已经记录
cudaEventElapsedTime(&time, start, stop);

// 输出时间
printf("Time elapsed: %f ms\n", time);

// 销毁事件
cudaEventDestroy(start);
cudaEventDestroy(stop);

在这个例子中，cudaEventCreate用于创建事件，cudaEventRecord用于在流中记录事件，cudaEventSynchronize用于等待事件完成，cudaEventElapsedTime用于计算两个事件之间的时间差，最后cudaEventDestroy用于释放事件资源。

什么叫CUDA流？从硬件层面详细解释？

CUDA学习(四)CUDA流 - 知乎 (zhihu.com) 一个CUDA流指的是一个CUDA操作序列(队列)。一个CUDA流中的操作按照主机发布的次序执行，而不同CUDA流中的操作无法确定执行顺序，有可能并发或交错地执行。任何CUDA操作都存在于某个CUDA流中，要么是默认流(又称为空流)，要么是明确指定的非空流。

CUDA流是实现核函数外部并行的重要方式，能够有效地加速程序运行。核函数外部并行主要指以下5种并行方式：

  1. 核函数计算与数据传输的并行
  2. 主机计算与数据传输的并行
  3. 不同数据传输的并行
  4. 核函数计算与主机计算的并行
  5. 不同核函数间的并行

cudaEventRecord(start)做了什么事情？为什么不是&start?

cudaEventRecord(start, stream) 函数的作用是在指定的CUDA流（stream）中记录一个事件。这个函数调用会将事件标记为当前流中的一个特定点，这个点可以是内核执行的开始、结束，或者是数据传输的开始和结束。这个操作不会阻塞CPU，它只是告诉CUDA运行时在GPU上记录这个时间点。

在函数调用中，你不需要传递事件的地址（即不需要&start），因为cudaEventRecord函数需要的是事件的句柄（handle），而不是指向事件的指针。在CUDA中，事件句柄是一个轻量级的标识符，它指向CUDA运行时内部维护的事件对象。当你调用cudaEventCreate时，它会返回一个事件句柄，这个句柄就是start变量的值。这个句柄是直接传递给cudaEventRecord的，而不是它的地址。

这里是一个简化的例子来说明这个过程：

cudaEvent_t start; // 声明一个事件句柄
cudaEventCreate(&start); // 创建事件并获取句柄

// 在默认流中记录事件
cudaEventRecord(start, 0);

// ... 执行CUDA操作 ...

// 在默认流中记录另一个事件
cudaEventRecord(start, 0);

cudaEventRecord(stop, 0);
cudaEventSynchronize(stop));
// 计算两个事件之间的时间差
float elapsedTime;
cudaEventElapsedTime(&elapsedTime, start, stop);
printf("Time = %g ms. \n",elapsed_time);

// 销毁事件
cudaEventDestroy(start);
cudaEventDestroy(stop);

在这个例子中，start是一个事件句柄，而不是一个指针。当你调用cudaEventRecord(start, 0)时，你实际上是在告诉CUDA运行时在默认流（流ID为0）中记录start事件。这个操作是异步的，不会阻塞CPU，直到你调用cudaEventSynchronize(start)或者在计算时间差时，CUDA运行时才会确保事件已经被记录。

CHECK(cudaEventRecord (stop)); CHECK(cudaEventSynchronize(stop)); 这个是干嘛的？和 CHECK(cudaDeviceSynchronize()); 什么区别？

找到了第 1 篇资料：cuda编程学习——GPU加速/时间计时Clock 干货向（五） - 知乎

找到了第 2 篇资料：CUDA优化的冷知识 6 |GPU端的CUDA Event计时 - 知乎

找到了第 3 篇资料：CUDA 的 Stream and Event - 知乎

找到了第 4 篇资料：CUDA优化的冷知识 6 |GPU端的CUDA Event计时 - 知乎

找到了第 5 篇资料：CUDA编程：Synchronization and Reduction - 知乎

找到了第 6 篇资料：【CUDA 基础】6.2 并发内核执行 - 知乎

找到了第 7 篇资料：NVIDIA CUDA Library: cudaDeviceSynchronize

找到了第 8 篇资料：CUDA学习笔记——cudaDeviceSynchronize()的理解-CSDN博客

一共找到 8 篇资料，正在阅读...

找到了 8 篇资料作为参考：

CHECK(cudaEventRecord(stop)); 和 CHECK(cudaEventSynchronize(stop)); 是CUDA编程中用于时间测量和同步的两个函数调用。

  1. CHECK(cudaEventRecord(stop));： 这个调用用于在CUDA流中记录一个事件（在这个例子中是stop事件）。当你在CUDA程序中执行某些操作（如内核启动或数据传输）后，调用这个函数会告诉CUDA运行时在GPU上记录一个时间点。这个时间点可以用于后续的时间测量，比如计算操作的执行时间。这个操作是异步的，不会阻塞CPU，它只是告诉GPU在某个时刻记录一个事件。
  2. CHECK(cudaEventSynchronize(stop));： 这个调用用于等待之前记录的事件（在这个例子中是stop事件）完成。它会阻塞调用它的线程，直到GPU上记录的事件被处理。这个操作确保了在继续执行后续代码之前，GPU上的事件已经被记录。这在测量时间或确保某些操作在继续之前已经完成时非常有用。

与CHECK(cudaDeviceSynchronize());的区别：

  • CHECK(cudaDeviceSynchronize());： 这个函数调用会阻塞当前线程，直到所有之前提交到GPU的异步操作都完成。这包括所有流中的所有操作，不仅仅是单个事件。这个函数通常用于确保在进行后续操作（如读取GPU结果或释放资源）之前，所有GPU操作都已经完成。

总结来说，CHECK(cudaEventRecord(stop)); 和 CHECK(cudaEventSynchronize(stop)); 是专门用于处理特定事件的记录和同步，而CHECK(cudaDeviceSynchronize()); 是用于同步整个GPU设备上的所有操作。在实际应用中，你可能会根据需要选择使用这些函数来确保程序的正确性和性能。

avatar
文章
阅读
粉丝