在科学计算和工程模拟中，经常需要处理海量数据。比如从上亿个数据里找出最大值，这类操作单线程跑起来可能需要几十秒甚至更长时间。本文通过实际测试，比较 CPU 单线程、OpenMP 并行、GPU cuBLAS 三种方式的效率差异。
测试问题
从一亿个随机浮点数中，找出最大值并记录其位置。这是典型的 memory bound（内存带宽受限）问题，计算量不大但数据规模极大，非常适合并行化测试。
三种实现方式
1. CPU 单线程
最传统的方式，写一个 for 循环逐一比较：
float maxVal = -1e30f;
int maxIdx = -1;
for (int i = 0; i < N; i++) {
if (data[i] > maxVal) {
maxVal = data[i];
maxIdx = i;
}
}
特点：简单直接，但在大数据规模下效率有限。
2. OpenMP 并行
OpenMP 通过 #pragma omp parallel for 指令让多个 CPU 核心协同工作。每个线程维护局部最大值，最后通过 critical section 合并结果：
#pragma omp parallel
{
float localMax = -1e30f;
int localIdx = -1;
#pragma omp for nowait
for (int i = 0; i < N; i++) {
if (h_data[i] > localMax) {
localMax = h_data[i];
localIdx = i;
}
}
#pragma omp critical
{
if (localMax > maxVal_omp) {
maxVal_omp = localMax;
maxIdx_omp = localIdx;
}
}
}
特点：利用 CPU 多核提升速度，但受限于内存带宽，加速比有限。记得设置 /openmp 编译选项。
3. GPU cuBLAS
NVIDIA cuBLAS 提供了 cublasIsamax 函数，可以直接在 GPU 上求解最大值索引：
cublasHandle_t handle;
cublasCreate(&handle);
int maxIdx_gpu;
cublasIsamax(handle, N, d_data, 1, &maxIdx_gpu);
cublasDestroy(handle);
特点：利用 GPU 的大规模并行能力，在上亿数据规模下优势明显。
性能对比
在 1 亿个浮点数的测试中：
| 方案 | 耗时 | 加速比 |
|---|---|---|
| CPU 单线程 | 约 80-120ms | 1x |
| OpenMP (8线程) | 约 20-40ms | 3-5x |
| GPU cuBLAS | 约 1-3ms | 50-100x |
优化分析
- 内存带宽瓶颈：求最值是 memory bound 操作，CPU 多核的加速比受限于内存带宽而非计算能力
- GPU 优势明显：GPU 拥有数百 GB/s 的内存带宽，配合大规模并行核心，在此类操作中性能碾压 CPU
- cuBLAS 优化：cuBLAS 内部实现了高效的归约算法，比手写 CUDA kernel 更稳定高效
总结
对于海量数据求最值操作：
- 简单场景：CPU 单线程足够
- 中等规模：OpenMP 简单有效
- 大规模数据：GPU cuBLAS 是最佳选择
选择合适的工具取决于数据规模和硬件环境。在科学计算领域，理解不同方案的性能特征至关重要。
本文来源于公众号「梁柱墙笔记」，原文链接：mp.weixin.qq.com/s/qXZYYX372…
