数据库连接池PooledDataSource源码分析

803 阅读10分钟

这是我参与8月更文挑战的第4天,活动详情查看:8月更文挑战


1. 前言

在数据持久层框架中,【数据源】是一个非常重要的组件,它的性能直接关系到整个数据持久层的性能。 ​

在Java中,数据源被定义为接口DataSource,源码如下:

public interface DataSource  extends CommonDataSource, Wrapper {

	// 获取数据库连接
    Connection getConnection() throws SQLException;
    
    // 给定用户名,密码获取连接
    Connection getConnection(String username, String password);
}

DataSource职责非常单一,就是从数据源获取数据库连接Connection。有了Connection我们才能执行SQL,获得结果集。 ​

MyBatis提供了两类数据源:UnpooledDataSource和PooledDataSource,同时它还支持与第三方数据源做集成,常用的有:阿里的Druid、C3P0、SpringBoot默认的Hikari等等。本篇文章不讨论第三方数据源,仅分析MyBatis内置的数据源。 ​

顾名思义,UnpooledDataSource是未池化的数据源,当你调用getConnection()时,它每次都会打开一个新的连接,使用完毕后再调用close()方法销毁连接。数据库连接是非常宝贵的资源,首先,新连接的创建和销毁是非常耗时的,这在一定程度上会降低服务性能。其次,数据库支持的连接数有限,当突发流量较大时,创建大量的连接会导致数据库僵死。因此,线上环境几乎不会使用未池化的数据源,而是数据库连接池。 ​

PooledDataSource是MyBatis提供的使用池化技术的数据源,它事先会创建一批连接静静的躺在池子里等待被调用,SQL执行完毕后调用close()不会关闭连接,而是归还到连接池,等待下次被调用。这样就避免了连接的频繁创建和关闭,连接数也变得可控,不会导致数据库僵死。 ​

2. UnpooledDataSource

UnpooledDataSource源码非常简单,如果你还记得原生JDBC操作数据库,那你一眼就能看懂它的源码。 ​

先看属性:

  1. driverClassLoader:驱动类加载器。
  2. driverProperties:驱动属性。
  3. registeredDrivers:注册的驱动。
  4. driver:数据库驱动。
  5. url:数据库连接。
  6. username:用户名。
  7. password:密码。
  8. autoCommit:是否自动提交。
  9. defaultTransactionIsolationLevel:默认的事务隔离级别。
  10. defaultNetworkTimeout:默认。时时间、

使用JDBC获取数据库连接,首先就是加载数据库驱动Driver,根据url、用户名、密码获取连接,因此这些属性都很好理解。调用getConnection()方法它每次都会打开新的连接,因此重点看doGetConnection()

// 根据用户名密码获取数据库连接
Connection doGetConnection(String username, String password){
  // 设置驱动,用户名,密码...
  // 获取连接
  return doGetConnection(props);
}

知道数据库驱动、数据库链接、用户名、密码,接下来就是JDBC原生API获取数据库连接了。

private Connection doGetConnection(Properties properties) throws SQLException {
  // 加载驱动
  initializeDriver();
  // 根据url和用户名密码获取连接
  Connection connection = DriverManager.getConnection(url, properties);
  // 设置:超时、自动提交、事务隔离级别
  configureConnection(connection);
  return connection;
}

这就是UnpooledDataSource的源码,只要你还记得JDBC,就很容易理解。 ​

3. PooledDataSource

一般都会使用数据库连接池,PooledDataSource也是MyBatis默认的数据源,因此我们重点分析。 ​

PooledDataSource使用了【装饰者模式】,它本身不会去创建新连接,只负责维护连接池。一旦需要创建新的连接,它会委托给UnpooledDataSource执行。 ​

先看属性:

  1. dataSource:创建新连接的任务会委托给未池化的数据源执行。
  2. poolMaximumActiveConnections:代表最大活跃连接数,活跃连接达到该数字不会再创建新的连接了。
  3. poolMaximumIdleConnections:代表最大空闲连接数,回收的连接数量超过该数字会被直接关闭。
  4. poolMaximumCheckoutTime:代表最大可回收时间,连接使用超过该时间还没归还,会被强制回收。
  5. poolTimeToWait:代表等待时间,没有可用连接时,线程会调用wait()方法等待。
  6. poolMaximumLocalBadConnectionTolerance:获取到失效连接时会进行重试,它代表最大重试次数。
  7. poolPingQuery:为了检测连接的有效性,默认会执行一个简单的SQL来证明数据库是否真的可用。
  8. poolPingEnabled:是否启用执行SQL的方式来校验连接的有效性。
  9. poolPingConnectionsNotUsedFor:连接有效性检测的频率。
  10. expectedConnectionTypeCode:缓存的连接标识,为url、用户名、密码组成字符串的哈希码,避免将不同类的连接归还到连接池。

获取连接,它的代码和UnpooledDataSource差异很大,如下:

@Override
public Connection getConnection(String username, String password){
  // 从连接池弹出一个连接,并返回其代理对象
  return popConnection(username, password).getProxyConnection();
}

不再是简单的创建新连接,而是尝试从【连接池】中pop出一个连接。这个连接也许是新创建的,也可能是复用的旧连接。 ​

还有一点需要注意,popConnection()已经获取到连接了,为什么不直接返回,而是调用getProxyConnection()返回代理连接对象呢?这里先卖个关子,后面会说到。 ​

从连接池中获取连接的源码如下:

// 从连接池中弹出一个可用的连接
PooledConnection popConnection(String username, String password){
  // 是否发生了等待
  boolean countedWait = false;
  // 循环重试,直到获取连接
  while (conn == null) {
    synchronized (state) {
      if (!state.idleConnections.isEmpty()) {// 存在空闲连接
        // 取出列表中表头连接
        conn = state.idleConnections.remove(0);
      } else {
        // 当前没有空闲的可用连接
        if (state.activeConnections.size() < poolMaximumActiveConnections) {
          // 当前活跃连接数量未达到最大值,创建新的连接
          conn = new PooledConnection(dataSource.getConnection(), this);
        } else { // 已达到最大活跃连接数,不能创建新的连接了。
          // 获取最老的一个连接,判断是否可回收。
          PooledConnection oldestActiveConnection = state.activeConnections.get(0);
          if (longestCheckoutTime > poolMaximumCheckoutTime) {// 连接可回收的情况
            // 统计过期连接数据
            // 回收的连接从活跃列表中移除,如果不是自动提交事务,则帮其回滚事务。
            state.activeConnections.remove(oldestActiveConnection);
            // 创建一个新的PooledConnection
            conn = new PooledConnection(oldestActiveConnection.getRealConnection(), this);
            // 原连接置为失效
            oldestActiveConnection.invalidate();
          } else {
            // 达到最大活跃连接数,且没有连接可以回收,则必须等待。
              if (!countedWait) {
                // 统计等待次数
                state.hadToWaitCount++;
                countedWait = true;
              }
              // 调用wait()方法等待其他连接的释放
              state.wait(poolTimeToWait);
            
          }
        }
      }
      if (conn != null) {
        // 回收的连接可能已失效,这里做有效性检测
        if (conn.isValid()) {
          // 连接有效,添加到活跃连接中
          state.activeConnections.add(conn);
        } else {
          // 统计无效连接数据
          state.badConnectionCount++;
          if (localBadConnectionCount > (poolMaximumIdleConnections + poolMaximumLocalBadConnectionTolerance)) {
            // 达到最大重试次数,抛异常
            throw new SQLException();
          }
        }
      }
    }
  }

  if (conn == null) {// 没有获取到数据库连接,抛异常。
    throw new SQLException();
  }
  // 获取到连接,则返回
  return conn;
}
  1. 如果存在空闲连接,则直接取出表头连接。
  2. 当前活跃连接是否达到最大值?
    1. 否,则创建新连接。
    2. 是,则判断是否可以回收旧的超时连接。
  3. 如果无法回收连接,则必须wait等待其他线程释放连接。
  4. 等待超时后还是无法获得连接,抛异常。
  5. 正确回收了连接,校验其是否有效。
    1. 无效,则循环重试。
    2. 有效,则直接返回。

对于PooledDataSource来说,连接使用完毕是要归还给连接池的,对应的方法是pushConnection()

// 归还连接
void pushConnection(PooledConnection conn){
  synchronized (state) {
    // 从活跃连接中删除
    state.activeConnections.remove(conn);
    if (conn.isValid()) {// 回收前必须保证连接有效
      // 判断空闲连接数是否已达到最大值 & 校验连接标识
      if (state.idleConnections.size() < poolMaximumIdleConnections && conn.getConnectionTypeCode() == expectedConnectionTypeCode) {
        // 统计连接使用时间
        // 基于原生Connection创建新的PooledConnection,并添加到空闲连接列表
        state.idleConnections.add(newConn);
        // 旧连接置为失效
        // 有连接可用了,唤醒等待线程。
        state.notifyAll();
      } else {// 空闲连接数已达到最大值,新回收的连接会被直接关闭
        // 被关闭的连接置为失效
        conn.invalidate();
      }
    } else {
      // 连接已失效,统计失效连接数
      state.badConnectionCount++;
    }
  }
}
  1. 从活跃连接列表中移除。
  2. 回收的连接是否有效?无效连接回收没有意义,直接关闭。
  3. 空闲连接数是否达到最大值?
    1. 是,直接关闭连接。
    2. 否,回收连接。
  4. 成功回收,调用notifyAll通知其它等待线程。

3.1 PoolState

和PooledDataSource息息相关的还有一个类PoolState,它代表的是连接池的状态。例如:当前有多少空闲/活跃连接?系统获取连接的次数是多少?连接使用的总时长是多少?多少连接失效了?获取连接有没有发生等待?等待的总时长是多少等等统计信息。 ​

先看属性:

  1. dataSource:关联的数据源。
  2. idleConnections:空闲连接列表。
  3. activeConnections:活跃连接列表。
  4. requestCount:总请求数,就是获取连接的次数。
  5. accumulatedRequestTime:累计获取连接消耗的时间,通过它可以判断连接池的效率。
  6. accumulatedCheckoutTime:累计连接被使用的时间,从pop到push的时间。
  7. claimedOverdueConnectionCount:累计过期被回收的连接数。
  8. accumulatedCheckoutTimeOfOverdueConnections:累计过期连接的使用时间。
  9. accumulatedWaitTime:获取连接的等待时间,如果这个时间太长则意味着连接数明显不够用。
  10. hadToWaitCount:等待的次数。
  11. badConnectionCount:无效的连接数。

PoolState代码很简单,主要就是负责统计数据源连接池的状态数据,这里就不贴代码了。 ​

3.2 PooledConnection

细心的同学会发现,PooledDataSource获取的Connection并不是JDBC原生的,而是PooledConnection对象。MyBatis为何还要再封装一层呢?先说结论:主要原因是为了调用close方法回收连接。 ​

从DataSource获取到Connection,执行指定的SQL,然后将Connection关闭。这是正常流程,但是PooledDataSource的需求是调用Connection.close()方法是将连接回收,而非关闭。如何实现呢? 一种是实现Connection接口,重写close()方法。另一种是为Connection对象生成一个代理对象,拦截close()方法,实现自定义的逻辑。 ​

MyBatis选择了后者,因为Connection本身就是接口,既然是接口就可以很方便的使用JDK动态代理生成代理对象。 ​

话不多说,直接看源码,先看属性:

  1. hashCode:保存原生Connection的哈希码。
  2. dataSource:所属的数据源,用于归还连接。
  3. realConnection:原生Connection对象,除close方法外,其他方法委托它去执行。
  4. proxyConnection:JDK动态代理生成的代理连接对象。
  5. checkoutTimestamp:连接取出时间戳。
  6. createdTimestamp:连接创建的时间戳。
  7. lastUsedTimestamp:最后一次使用时间戳。
  8. connectionTypeCode:连接标识。
  9. valid:连接有效状态。

它的构造函数需要原生Connection对象和数据源DataSource,在构造函数中,同时会生成代理对象。

/**
 * 将原生Connection包装为池化的PooledConnection
 * @param connection 原生连接
 * @param dataSource 数据源连接池,close时用于归还连接
 */
public PooledConnection(Connection connection, PooledDataSource dataSource) {
  // 原始连接
  this.realConnection = connection;
  // 生成代理连接对象
  this.proxyConnection = (Connection) Proxy.newProxyInstance(Connection.class.getClassLoader(), IFACES, this);
}

JDK动态代理生成的对象,其实主要就是看invoke方法。对于close方法,MyBatis会调用dataSource.pushConnection()回收连接,而非原生的关闭连接。对于其他方法,则委托给原生Connection执行,PooledConnection只负责拦截close方法。

if (CLOSE.equals(methodName)) {
    dataSource.pushConnection(this);
    return null;
}

4. 总结

MyBatis提供了两种数据源:UnpooledDataSource和PooledDataSource,前者每次获取连接都会创建新的连接,这会带来服务性能差、连接数不可控、面对突发流量数据库僵死等诸多缺点。后者是数据库连接池,针对连接进行池化管理,使得连接可以被复用、不用频繁创建和关闭、连接数也变得可控,线上首选。 ​

与PooledDataSource息息相关的类PoolState记录了连接池的状态信息,这些统计信息很有用,可基于此来判断连接池的效率。 ​

另一个重要的类就是PooledConnection,它可以为原生Connection生成代理对象,使得外界在调用其close方法时不是直接关闭连接,而是回收连接。