持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第32天,点击查看活动详情。
1.问题说明
大数据量的List问题处理,多线程分批处理,需要解决的问题:
- 下标越界。
- 线程安全。
private List<Map<String, Object>> dealDataByThreads(List<String> dataList) {
int dataSize = dataList.size();
// 结果数据【1】
List<Map<String, Object>> dataMap = new ArrayList<>(dataSize);
// 每批的记录数据并计算批次
int numberBatch = 2000;
double number = dataSize * 1.0 / numberBatch;
int n = ((Double) Math.ceil(number)).intValue();
// 根据参数开启线程
CountDownLatch countDownLatch = new CountDownLatch(n);
ThreadPoolExecutor executor = ThreadManager.executor;
// 分批处理数据
for (int i = 0; i < n; i++) {
// 计算sub的toIndex
int end = numberBatch * (i + 1);
if (end > dataSize) {
end = dataSize;
}
// 获取分批数据
List<String> dataListSub = dataList.subList(numberBatch * i, end);
int finalI = i;
int finalEnd = end;
executor.submit(() -> {
long startMillis = System.currentTimeMillis();
//【2】
dataMap.addAll(dealData(dataListSub));
countDownLatch.countDown();
long endMillis = System.currentTimeMillis();
log.info("当前线程[{}]处理{}-{}/{}耗时[{}]毫秒", Thread.currentThread().getName(), numberBatch * finalI, finalEnd, dataSize, endMillis - startMillis);
});
}
// 主线程等待
try {
countDownLatch.await();
} catch (InterruptedException e) {
e.printStackTrace();
}
return dataMap;
}
2.代码说明
- 使用
dataSize
初始化 Map 对象,可以避免 Map 对象的重构导致的下标越界。
List<Map<String, Object>> dataMap = new ArrayList<>(dataSize);
- 不要将
dataMap
对象给线程,dataMap.add(dataListSubAfterDeal) 方法可能会覆盖 List 内的对象。
// 正确方式
dataMap.addAll(dealData(dataListSub));
// 错误方式
dealData(dataListSub,dataMap);
dataMap.add(dataListSubAfterDeal);
- 为什么不使用线程安全的
CopyOnWriteArrayList
。
// 线程安全,性能较低,没有达到多线程期待的效果。
1.说明
有些时候,多线程只是追求并行操作,此时就需要指定线程完成特定任务了。
2.代码
线程池代码:
public class ThreadManager {
private static int corePoolSize = Runtime.getRuntime().availableProcessors();
private static ThreadFactory namedFactory = new ThreadFactoryBuilder().setNameFormat("ods-%d").build();
/**
* corePoolSize用于指定核心线程数量
* maximumPoolSize指定最大线程数
* keepAliveTime和TimeUnit指定线程空闲后的最大存活时间
*/
public static ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize, corePoolSize + 1, 10L, TimeUnit.SECONDS,
new LinkedBlockingQueue<>(1000), namedFactory, new ThreadPoolExecutor.AbortPolicy());
}
修改线程名称,并指定线程执行任务:
// 获取所有线程
Set<Thread> threads = Thread.getAllStackTraces().keySet();
List<String> threadsNameList = threads.stream().map(Thread::getName).collect(Collectors.toList());
// 修改线程名【可根据任务的某些参数对线程进行重命名】
if (!threadsNameList.contains("threadName")) {
Thread.currentThread().setName("threadName");
}
// 根据线程名称指定任务
if (Thread.currentThread().getName().equals("threadName")) {
// 业务代码
}