前言
在处理大型数据集时，单线程处理往往成为性能瓶颈。通过将数据分割成多个小块，并利用多线程进行并行处理，可以显著提升程序的执行效率和响应速度。
本文将详细介绍几种高效的多线程并行处理实现方式，帮助开发者优化数据处理流程。
使用Parallel.ForEach进行并行处理
最简单的实现方式是使用C#内置的Parallel.ForEach方法。
namespace AppParallel
{
internal class Program
{
static object lockObject =
new object();
static void Main(string[] args)
{
// 创建示例数据
var largeList =
Enumerable.Range(1, 1000000).ToList();
// 设置并行选项
var parallelOptions = new ParallelOptions
{
MaxDegreeOfParallelism =
Environment.ProcessorCount
// 使用处理器核心数量的线程
};
try
{
Parallel.ForEach(largeList, parallelOptions,
(number) =>
{
// 这里是对每个元素的处理逻辑
var result = ComplexCalculation(number);
// 注意：如果需要收集结果，要考虑线程安全
lock (lockObject)
{
// 进行线程安全的结果收集
Console.WriteLine(result);
}
});
}
catch (AggregateException ae)
{
// 处理并行处理中的异常
foreach (var ex in
ae.InnerExceptions)
{
Console.WriteLine($"Error:
{ex.Message}");
}
}
}
private static int
ComplexCalculation(int number)
{
// 模拟复杂计算
Thread.Sleep(100);
return number * 2;
}
}
}
手动分块处理方式
有时我们需要更精细的控制，可以手动将数据分块并分配给不同的线程。
namespace AppParallel
{
internal class Program
{
static void Main(string[] args)
{
var largeList = Enumerable.Range(1, 1000000).ToList();
ProcessByChunks(largeList, 1000);
// 每1000个元素一个块
}
public static void ProcessByChunks<T>(List<T> largeList,
int chunkSize)
{
// 计算需要多少个分块
int chunksCount = (int)Math.Ceiling((double)largeList.Count / chunkSize);
var tasks = new List<Task>();
for (int i = 0; i < chunksCount; i++)
{
// 获取当前分块的数据
var chunk = largeList
.Skip(i * chunkSize)
.Take(chunkSize)
.ToList();
// 创建新任务处理当前分块
var task = Task.Run(() => ProcessChunk(chunk));
tasks.Add(task);
}
// 等待所有任务完成
Task.WaitAll(tasks.ToArray());
}
private static void
ProcessChunk<T>(List<T> chunk)
{
foreach (var item in chunk)
{
// 处理每个元素
ProcessItem(item);
}
}
private static void
ProcessItem<T>(T item)
{
// 具体的处理逻辑
Console.WriteLine
($"Processing item: {item} on thread: {Task.CurrentId}");
}
}
}
使用生产者-消费者模式
对于更复杂的场景，我们可以使用生产者-消费者模式，这样可以更好地控制内存使用和处理流程。
public class ProducerConsumerExample
{
private readonly BlockingCollection<int> _queue;
private readonly
int _producerCount;
private readonly
int _consumerCount;
private readonly
CancellationTokenSource _cts;
public ProducerConsumerExample(int queueCapacity = 1000)
{
_queue = new BlockingCollection<int>(queueCapacity);
_producerCount = 1;
_consumerCount =
Environment.ProcessorCount;
_cts = new CancellationTokenSource();
}
public async Task ProcessDataAsync(List<int> largeList)
{
// 创建生产者任务
var producerTask =
Task.Run(() => Producer(largeList));
// 创建消费者任务
var consumerTasks = Enumerable.Range(0, _consumerCount)
.Select(_ => Task.Run(() => Consumer()))
.ToList();
// 等待所有生产者完成
await producerTask;
// 标记队列已完成
_queue.CompleteAdding();
// 等待所有消费者完成
await Task.WhenAll(consumerTasks);
}
private void Producer(List<int> items)
{
try
{
foreach (var item in items)
{
if (_cts.
Token.IsCancellationRequested)
break;
_queue.Add(item);
}
}
catch (Exception ex)
{
Console.WriteLine($"Producer error:
{ex.Message}");
_cts.Cancel();
}
}
private void Consumer()
{
try
{
foreach (var item in _queue.GetConsumingEnumerable())
{
if (_cts.Token.IsCancellationRequested)
break;
// 处理数据
ProcessItem(item);
}
}
catch (Exception ex)
{
Console.WriteLine($"Consumer error: {ex.Message}");
_cts.Cancel();
}
}
private void ProcessItem(int item)
{
// 具体的处理逻辑
Thread.Sleep(100);
// 模拟耗时操作
Console.WriteLine($"Processed item {item} on thread {Task.CurrentId}");
}
}
// 使用示例
static async Task Main(string[] args)
{
var processor = new ProducerConsumerExample();
var largeList = Enumerable.Range(1, 10000).ToList();
await processor.ProcessDataAsync(largeList);
}
注意事项
1、合适的分块大小：分块不宜过小，因为过多的线程切换会抵消并行处理的优势；也不宜过大，以免影响负载均衡。建议从每块1000到5000个元素开始测试，找到最优的分块大小。
2、异常处理：务必妥善处理并行处理中的异常情况。每个任务应使用try-catch语句包装，确保异常不会导致整个程序崩溃。同时，考虑使用CancellationToken来优雅地终止所有任务。
3、资源管理：注意内存使用，避免一次性加载过多数据。合理控制并发线程的数量，通常不超过处理器核心数的两倍。对于实现了IDisposable接口的资源，使用using语句进行管理，确保资源及时释放。
4、线程安全：访问共享资源时必须保证线程安全，可以使用适当的同步机制如锁（lock）、信号量（Semaphore）等。考虑使用线程安全的集合类，例如ConcurrentDictionary或ConcurrentQueue。避免过度锁定，以免造成性能瓶颈。
通过遵循这些注意事项，可以确保在C#中高效且安全地进行大数据列表的并行处理。
总结
并行处理大数据列表是提升程序性能的有效手段，但需根据具体场景选择合适的实现方式。
本文介绍了三种主要方法，各有其适用场景和优势：
Parallel.ForEach：适用于简单场景，易于实现且代码简洁。适合快速原型开发或处理逻辑较为直接的任务。
手动分块处理：提供更精细的控制，适合中等复杂度场景。允许开发者优化分块大小和线程分配，以达到最佳性能。
生产者-消费者模式：适用于复杂场景，能够更好地管理资源使用和任务调度。特别适合需要高效处理大量数据流或涉及多个处理阶段的应用。
在实际应用中，建议首先进行性能测试，根据数据量大小、处理复杂度以及系统的硬件配置选择最合适的实现方式。
另外，务必重视异常处理和资源管理，确保程序的稳定性和可靠性。通过合理的并行处理策略，可以显著提高大型数据集的处理效率，为应用程序带来更好的用户体验。
希望本文能为您的项目提供有价值的参考和指导。
最后
如果你觉得这篇文章对你有帮助，不妨点个赞支持一下！你的支持是我继续分享知识的动力。如果有任何疑问或需要进一步的帮助，欢迎随时留言。
也可以加入微信公众号 [DotNet技术匠] 社区，与其他热爱技术的同行一起交流心得，共同成长！
优秀是一种习惯，欢迎大家留言学习！
作者：技术老小子
出处：mp.weixin.qq.com/s/qa3tbX5W0jt7-oKjGD_69g
声明：网络内容，仅供学习，尊重版权，侵权速删，歉意致谢！
