JDBC学习(八):PreparedStatement实现数据的批量插入

127 阅读2分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第2天,点击查看活动详情

什么是JDBC: 在web开发中,不可避免的地要使用数据库来存储和管理数据。为了在java语言中提供数据库访问的支持,Sun公司于1996年提供了一套访问数据的标准Java类库,即JDBC。 JDBC的全称是Java数据库连接(Java Database connect),它是一套用于执行SQL语句的Java API。应用程序可通过这套API连接到关系数据库,并使用SQL语句来完成对数据库中数据的查询、更新和删除等操作。

JDBC的实现包括三部分: (1)JDBC驱动管理器:负责注册特定的JDBC驱动器,主要通过java.sql. Driver Manager类实现。 (2)JDBC驱动器API:由Sun公司负责制定,其中最主要的接口是java.sql. Driver接口。 (3)JDBC驱动器:它是一种数据库驱动,由数据库厂商创建,也称为JDBC驱动程序JDBC驱动器实现了JDBC驱动器API,负责与特定的数据库连接,以及处理通信细节。

方法一:耗时最长(我的电脑比较老,插两万条大概耗时一分多钟)

package demo04;
 
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
 
import utils.JDBCUtils;
 
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {
 
	@Test
	public void test(){
		
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			
			conn = JDBCUtils.getConnection();
			String sql = "insert into admin (username)values(?)";
			ps = conn.prepareStatement(sql);
			
			for (int i = 0; i <= 20000; i++) {
				ps.setObject(1, "name_"+i);
				ps.execute();
			}
			
			long end = System.currentTimeMillis();
			System.out.println("花费时间为:"+(end-start));	//花费时间为:908010
			
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResourse(conn, ps);
			
		}
		
		
	}
	
	
	
}

改进一:设置参数让mysql开启对批处理的支持(耗时3s多,效率明显提升)

package demo04;
 
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
 
import utils.JDBCUtils;
 
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {	
	
	/**
	 * mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。
	 * 		 ?rewriteBatchedStatements=true 写在配置文件的url后面
	 * 		使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar
	 */
	
	@Test
	public void test2(){
		
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			
			conn = JDBCUtils.getConnection();
			String sql = "insert into admin (username)values(?)";
			ps = conn.prepareStatement(sql);
			
			for (int i = 0; i <= 20000; i++) {
				ps.setObject(1, "name_"+i);
 
				//1. “攒batch”
				ps.addBatch();
				//2. 执行
				if(i % 500 == 0) {
					ps.executeBatch();
				}
				//3. 清空batch
				ps.clearBatch();
			}
			
			long end = System.currentTimeMillis();
			System.out.println("花费时间为:"+(end-start));	//花费时间为:3060
			
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResourse(conn, ps);
			
		}
		
		
	}
	
	
}

改进二:不允许自动提交数据,等数据积攒到一定量了之后一次提交

package demo04;
 
import java.sql.Connection;
import java.sql.PreparedStatement;
import org.junit.jupiter.api.Test;
 
import utils.JDBCUtils;
 
/**
 * 使用prepaerdStatement实现批量插入
 * @author pc
 *
 */
public class InsertTest {
	
	@Test
	public void testFinal(){
		
		Connection conn = null;
		PreparedStatement ps = null;
		try {
			long start = System.currentTimeMillis();
			
			conn = JDBCUtils.getConnection();		
			
			//设置不允许自动提交数据
			conn.setAutoCommit(false);
			
			String sql = "insert into admin (username)values(?)";
			ps = conn.prepareStatement(sql);
			
			for (int i = 0; i <= 20000; i++) {
				ps.setObject(1, "name_"+i);
 
				//1. “攒batch”
				ps.addBatch();
				//2. 执行
				if(i % 500 == 0) {
					ps.executeBatch();
				}
				//3. 清空batch
				ps.clearBatch();
			}
			
			//统一提交数据
			conn.commit();
			
			long end = System.currentTimeMillis();
			System.out.println("花费时间为:"+(end-start));	//花费时间为:898
			
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JDBCUtils.closeResourse(conn, ps);
			
		}
		
		
	}
}