并发编程的挑战

上下文的切换

对于一个单核处理器来说，CPU通过给每个线程分配CPU时间片来实现多线程处理代码，时间片是CPU分配给各个线程的时间，因为时间片非常短，所以CPU通过不停地切换线程执行，让我们感觉多个线程是同时执行的，时间片一般是几十毫秒（ms）。

多线程一定就快吗

通常在我们的印象中，多线程，并发操作，它们是快速的，但是当我们将上下文切换这个因素考虑进去的时候，并发执行一定比串行执行快吗？

public class ConcurrencyTest {
    private static final long count = 10000l;
    public static void main(String[] args) throws InterruptedException {
        concurrency();
        serial();
    }
    private static void concurrency() throws InterruptedException {
        long start = System.currentTimeMillis();
        Thread thread = new Thread(new Runnable() {
            @Override
            public void run() {
                int a = 0;
                for (long i = 0; i < count; i++) {
                    a += 5;
                }
            }
        });
        thread.start();
        int b = 0;
        for (long i = 0; i < count; i++) {
            b--;
        }
        long time = System.currentTimeMillis() - start;
        thread.join();
        System.out.println("concurrency :" + time+"ms,b="+b);
    }
    private static void serial() {
        long start = System.currentTimeMillis();
        int a = 0;
        for (long i = 0; i < count; i++) {
            a += 5;
        }
        int b = 0;
        for (long i = 0; i < count; i++) {
            b--;
        }
        long time = System.currentTimeMillis() - start;
        System.out.println("serial:" + time+"ms,b="+b+",a="+a);
    }
}

对于这段代码来说，多线程执行并不一定比单线程执行快。下面是测试结果。

从这个结果来看，当操作次数的数量级超过百万级别，并行操作相对于串行操作才会有优势，大部分原因就是多线程下有上下文切换的开销。

如何减少上下文切换

减少上下文切换的方法有无锁并发编程、CAS算法、使用最少线程和使用协程。

无锁并发编程。多线程竞争锁时，会引起上下文切换，所以多线程处理数据时，可以用一些办法来避免使用锁，如将数据的ID按照Hash算法取模分段，不同的线程处理不同段的数据。
CAS算法。Java的Atomic包使用CAS算法来更新数据，而不需要加锁。
使用最少线程。避免创建不需要的线程，比如任务很少，但是创建了很多线程来处理，这样会造成大量线程都处于等待状态。
协程：在单线程里实现多任务的调度，并在单线程里维持多个任务间的切换。

死锁

锁在平时的开发中用的很多，特别是在并发的场景，但一旦产生死锁，就会造成整个系统的不可用。

避免死锁的一些方法

避免一个线程同时获取多个锁
避免一个线程在锁内同时占用多个资源，尽量保证每个锁只占用一个资源。
尝试使用定时锁，使用lock.tryLock（timeout）来替代使用内部锁机制。
对于数据库锁，加锁和解锁必须在一个数据库连接里，否则会出现解锁失败的情况。

资源限制的挑战

什么是资源限制

在并发编程中，程序的执行速度是受限于计算的软硬件资源的，所以在并发编程中，我们需要考虑这些资源的限制，CPU的限制，硬盘读写速度的限制

资源限制引发的问题

在并发编程中，将代码执行速度加快的原则是将代码中串行执行的部分变成并发执行，但是如果将某段串行的代码并发执行，因为受限于资源，仍然在串行执行，这时候程序不仅不会加快执行，反而会更慢，因为增加了上下文切换和资源调度的时间。

如何解决资源限制的问题

对于硬件资源限制，可以考虑使用集群并行执行程序。既然单机的资源有限制，那么就让程序在多机上运行。比如使用ODPS、Hadoop或者自己搭建服务器集群，不同的机器处理不同的数据。可以通过“数据ID%机器数”，计算得到一个机器编号，然后由对应编号的机器处理这笔数据。
对于软件资源限制，可以考虑使用资源池将资源复用。比如使用连接池将数据库和Socket 连接复用，或者在调用对方webservice接口获取数据时，只建立一个连接。

在资源限制情况下进行并发编程

如何在资源限制的情况下，让程序执行得更快呢？方法就是，根据不同的资源限制调整程序的并发度。比如对于数据库操作来说，有限的资源是：CPU、磁盘、网络。那么如何对于这些有限的资源如何设置一个合理并发度，这就跟有限的CPU资源有关系，例如有一个4核服务器，有个10000个用户的并发连接，那么我们应该设置一个什么数据量的连接池？1000? 100? 这些都太夸张了，事实上，我们只需要一个8-10左右数量的连接池就可以，过多的连接数量只会导致上下文切换，让性能损耗。

参考资料

《Java并发编程的艺术》

并发编程有哪些挑战?