相信很多同学在面试的时候,经常会被面试官问到这么一个问题:请问如何实现断点下载,即在文件未下载完成时,保存进度,在下次继续下载。要实现这个功能其实并不难,只要使用一个临时文件记录当前的下载进度,然后在下次下载时,从临时文件记录的进度开始下载,从而实现功能。
当你实现以上功能之后,面试官可能又会问:那能不能实现多线程的断点下载?这个问题的话,其实如果你解决了第一个问题之后,就很容易解决这个问题了,无非就是将文件大小分成几块,在不同线程下载不同的块段。而这个例子就是解决了以上两个问题。
以下是解决思路:
1. 根据线程数,将文件大小分成不同的块段。
2. 根据URL生成文件名,同时生成下载路径。
3. 生成每一个块段的起始位置、结束位置。
4. 创建多个线程,在每个线程里面做一下操作5-7的操作。
5. 建立连接,从临时文件里面读取上次下载的起始位置,在请求头里面设置下载范围(起始位置,结束位置)。
6. 打开下载的文件,将光标移动到起始位置,并往里面写数据,每写一次,往临时文件里面记录文件位置。
7. 在文件下载完成后,将临时文件删除。
当你实现以上功能之后,面试官可能又会问:那能不能实现多线程的断点下载?这个问题的话,其实如果你解决了第一个问题之后,就很容易解决这个问题了,无非就是将文件大小分成几块,在不同线程下载不同的块段。而这个例子就是解决了以上两个问题。
以下是解决思路:
1. 根据线程数,将文件大小分成不同的块段。
2. 根据URL生成文件名,同时生成下载路径。
3. 生成每一个块段的起始位置、结束位置。
4. 创建多个线程,在每个线程里面做一下操作5-7的操作。
5. 建立连接,从临时文件里面读取上次下载的起始位置,在请求头里面设置下载范围(起始位置,结束位置)。
6. 打开下载的文件,将光标移动到起始位置,并往里面写数据,每写一次,往临时文件里面记录文件位置。
7. 在文件下载完成后,将临时文件删除。
本文只是简单提供解释思路,代码优化空间很大,细节不需要纠结,网络框架的话换做其他也是可以的,HttpUrlConnection是Java提供的最基础的网络框架之一,弄懂了这个,其他的同理。
完整的类在Github上面:github.com/ryanlijianc…
- import java.io.BufferedInputStream;
- import java.io.File;
- import java.io.FileInputStream;
- import java.io.RandomAccessFile;
- import java.net.HttpURLConnection;
- import java.net.URL;
- public class ResumeDownload {
- public static final String DOWNLOAD_URL = "http://7xs0af.com1.z0.glb.clouddn.com/High-Wake.mp3";
- public static final String DOWNLOAD_PARENT_PATH = "D:\\test_resume_download\\hi";
- public static final int THREAD_COUNT = 3;
- public static void main(String[] args) {
- try {
- // 获取到下载地址的连接
- URL mUrl = new URL(DOWNLOAD_URL);
- HttpURLConnection conn = (HttpURLConnection) mUrl.openConnection();
- // 获取下载文件的大小
- int fileLen = conn.getContentLength();
- // 通过下载链接获取下载文件的文件名
- String filePathUrl = conn.getURL().getFile();
- String fileName = filePathUrl.substring(filePathUrl.lastIndexOf(File.separator) + 1);
- // 生成下载路径
- String fileDownloadPath = DOWNLOAD_PARENT_PATH + File.separator + fileName;
- // 判断父路径是否存在,不存在就生成
- File file = new File(fileDownloadPath);
- if (!file.getParentFile().exists()) {
- file.getParentFile().mkdirs();
- }
- // 关闭连接
- conn.disconnect();
- /**
- * 以下为多线程下载,主要原理就是将文件大小均分多块(根据线程数) 每一个线程从不同的起始位置,下载相等大小的文件 主要通过
- * HttpUrlConnection里面设置Range参数,设置每一个线程下载的范围
- * setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);
- */
- int blockSize = fileLen / THREAD_COUNT;
- for (int threadId = 1; threadId <= THREAD_COUNT; threadId++) {
- // 获取每一个线程下载的起始位置和结束位置
- long startPos = (threadId - 1) * blockSize;
- long endPos = threadId * blockSize - 1;
- if (threadId == THREAD_COUNT) {
- endPos = fileLen;
- }
- // 然后通过再不同线程里面实现下载逻辑
- // 具体实现在DownloadThread这个Runnable里面
- new Thread(new DownLoadTask(threadId, startPos, endPos, fileDownloadPath, DOWNLOAD_URL)).start();
- }
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
- }
- /**
- * 具体下载逻辑
- *
- * @author Administrator
- *
- */
- class DownLoadTask implements Runnable {
- public static final String TEMP_NAME = "_tempfile";
- private int threadId; // 当前线程id
- private long startPos; // 下载的起始位置
- private long endPos; // 下载的结束位置
- private String fileDownloadPath; // 下载文件存放的文件位置
- private String downloadUrl; // 下载链接
- private String tempFilePath; // 记录进度的临时文件路径
- public DownLoadTask(int threadId, long startPos, long endPos, String fileDownloadPath, String downloadUrl) {
- super();
- this.threadId = threadId;
- this.startPos = startPos;
- this.endPos = endPos;
- this.fileDownloadPath = fileDownloadPath;
- this.downloadUrl = downloadUrl;
- this.tempFilePath = fileDownloadPath + TEMP_NAME + threadId;
- }
- @Override
- public void run() {
- try {
- // 记录下载的开始时间
- long startTime = System.currentTimeMillis();
- URL mUrl = new URL(downloadUrl);
- // 为了实现断点下载,在重新下载时从缓存文件里面获取下载的起始位置
- if (getProgress(threadId) != 0) {
- startPos = getProgress(threadId);
- }
- System.out.println("线程" + threadId + "继续下载,开始位置:" + startPos + "结束位置是:" + endPos);
- // HttpUrlConnection的常规操作
- // 要实现断点下载的话,必须要设置mConnection.setRequestProperty("Range", "bytes=" +
- // startPos + "-" + endPos);
- HttpURLConnection mConnection = (HttpURLConnection) mUrl.openConnection();
- mConnection.setRequestMethod("POST");
- mConnection.setReadTimeout(5000);
- mConnection.setRequestProperty("Charset", "UTF-8");
- mConnection.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);
- mConnection.connect();
- // 如果下载路径不存在的话,则创建文件路径
- File file = new File(fileDownloadPath);
- if (!file.getParentFile().exists()) {
- file.getParentFile().mkdirs();
- }
- // 通过RandomAccessFile对要下载的文件进行读写
- RandomAccessFile downloadFile = new RandomAccessFile(fileDownloadPath, "rw");
- // 写的时候,将光标移到要下载的起始位置
- downloadFile.seek(startPos);
- BufferedInputStream bis = new BufferedInputStream(mConnection.getInputStream());
- int size = 0; // 获取缓存区存放的字节大小
- long len = 0; // 记录本次下载的大小,以便计算本次下载的起始位置移动到了哪里
- byte[] buf = new byte[ 1024];
- while ((size = bis.read(buf)) != -1) {
- // 累加
- len += size;
- // 然后将缓冲区的内容写到下载文件中
- downloadFile.write(buf, 0, size);
- // 然后将下载的起始位置移动到已经下载完的末尾,写到缓存文件里面去
- setProgress(threadId, startPos + len);
- }
- // 获取下载结束时间,输出
- long curTime = System.currentTimeMillis();
- System.out.println("线程" + threadId + "已经下载完成,耗时:" + (curTime - startTime) + "ms.");
- // 关闭流、文件和连接
- downloadFile.close();
- mConnection.disconnect();
- bis.close();
- } catch (Exception e) {
- e.printStackTrace();
- }
- }
- /**
- * 从temp文件获取下载进度
- *
- * @param threadId
- * @return
- */
- private long getProgress(int threadId) {
- try {
- File markFile = new File(tempFilePath);
- if (!markFile.exists()) {
- return 0;
- }
- FileInputStream fis = new FileInputStream(markFile);
- BufferedInputStream bis = new BufferedInputStream(fis);
- byte[] buf = new byte[ 1024];
- String startPos = "";
- int len = -1;
- while ((len = bis.read(buf)) != -1) {
- startPos += new String(buf, 0, len);
- }
- // 不关闭流的话,不能删除文件
- fis.close();
- bis.close();
- return Long.parseLong(startPos);
- } catch (Exception e) {
- e.printStackTrace();
- }
- return 0;
- }
- /**
- * 在temp文件记录下载进度
- *
- * @param threadId
- * @param startPos
- */
- private void setProgress(int threadId, long startPos) {
- try {
- File markFile = new File(tempFilePath);
- if (!markFile.getParentFile().exists()) {
- markFile.getParentFile().mkdirs();
- }
- RandomAccessFile rr = new RandomAccessFile(markFile, "rw"); // 存储下载标记的文件
- String strStartPos = String.valueOf(startPos);
- rr.write(strStartPos.getBytes(), 0, strStartPos.length());
- rr.close();
- } catch (Exception e) {
- e.printStackTrace();
- } finally {
- // 当文件下载完成时,即开始位置和结束位置重合时,删除记录进度的缓存文件
- if (startPos >= endPos) {
- File markFile = new File(tempFilePath);
- if (markFile.exists()) {
- System.out.println("markFile delete");
- markFile.delete();
- }
- }
- }
- }
- }
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL;
public class ResumeDownload {
public static final String DOWNLOAD_URL = "http://7xs0af.com1.z0.glb.clouddn.com/High-Wake.mp3";
public static final String DOWNLOAD_PARENT_PATH = "D:\\test_resume_download\\hi";
public static final int THREAD_COUNT = 3;
public static void main(String[] args) {
try {
// 获取到下载地址的连接
URL mUrl = new URL(DOWNLOAD_URL);
HttpURLConnection conn = (HttpURLConnection) mUrl.openConnection();
// 获取下载文件的大小
int fileLen = conn.getContentLength();
// 通过下载链接获取下载文件的文件名
String filePathUrl = conn.getURL().getFile();
String fileName = filePathUrl.substring(filePathUrl.lastIndexOf(File.separator) + 1);
// 生成下载路径
String fileDownloadPath = DOWNLOAD_PARENT_PATH + File.separator + fileName;
// 判断父路径是否存在,不存在就生成
File file = new File(fileDownloadPath);
if (!file.getParentFile().exists()) {
file.getParentFile().mkdirs();
}
// 关闭连接
conn.disconnect();
/**
* 以下为多线程下载,主要原理就是将文件大小均分多块(根据线程数) 每一个线程从不同的起始位置,下载相等大小的文件 主要通过
* HttpUrlConnection里面设置Range参数,设置每一个线程下载的范围
* setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);
*/
int blockSize = fileLen / THREAD_COUNT;
for (int threadId = 1; threadId <= THREAD_COUNT; threadId++) {
// 获取每一个线程下载的起始位置和结束位置
long startPos = (threadId - 1) * blockSize;
long endPos = threadId * blockSize - 1;
if (threadId == THREAD_COUNT) {
endPos = fileLen;
}
// 然后通过再不同线程里面实现下载逻辑
// 具体实现在DownloadThread这个Runnable里面
new Thread(new DownLoadTask(threadId, startPos, endPos, fileDownloadPath, DOWNLOAD_URL)).start();
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
/**
* 具体下载逻辑
*
* @author Administrator
*
*/
class DownLoadTask implements Runnable {
public static final String TEMP_NAME = "_tempfile";
private int threadId; // 当前线程id
private long startPos; // 下载的起始位置
private long endPos; // 下载的结束位置
private String fileDownloadPath; // 下载文件存放的文件位置
private String downloadUrl; // 下载链接
private String tempFilePath; // 记录进度的临时文件路径
public DownLoadTask(int threadId, long startPos, long endPos, String fileDownloadPath, String downloadUrl) {
super();
this.threadId = threadId;
this.startPos = startPos;
this.endPos = endPos;
this.fileDownloadPath = fileDownloadPath;
this.downloadUrl = downloadUrl;
this.tempFilePath = fileDownloadPath + TEMP_NAME + threadId;
}
@Override
public void run() {
try {
// 记录下载的开始时间
long startTime = System.currentTimeMillis();
URL mUrl = new URL(downloadUrl);
// 为了实现断点下载,在重新下载时从缓存文件里面获取下载的起始位置
if (getProgress(threadId) != 0) {
startPos = getProgress(threadId);
}
System.out.println("线程" + threadId + "继续下载,开始位置:" + startPos + "结束位置是:" + endPos);
// HttpUrlConnection的常规操作
// 要实现断点下载的话,必须要设置mConnection.setRequestProperty("Range", "bytes=" +
// startPos + "-" + endPos);
HttpURLConnection mConnection = (HttpURLConnection) mUrl.openConnection();
mConnection.setRequestMethod("POST");
mConnection.setReadTimeout(5000);
mConnection.setRequestProperty("Charset", "UTF-8");
mConnection.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);
mConnection.connect();
// 如果下载路径不存在的话,则创建文件路径
File file = new File(fileDownloadPath);
if (!file.getParentFile().exists()) {
file.getParentFile().mkdirs();
}
// 通过RandomAccessFile对要下载的文件进行读写
RandomAccessFile downloadFile = new RandomAccessFile(fileDownloadPath, "rw");
// 写的时候,将光标移到要下载的起始位置
downloadFile.seek(startPos);
BufferedInputStream bis = new BufferedInputStream(mConnection.getInputStream());
int size = 0; // 获取缓存区存放的字节大小
long len = 0; // 记录本次下载的大小,以便计算本次下载的起始位置移动到了哪里
byte[] buf = new byte[1024];
while ((size = bis.read(buf)) != -1) {
// 累加
len += size;
// 然后将缓冲区的内容写到下载文件中
downloadFile.write(buf, 0, size);
// 然后将下载的起始位置移动到已经下载完的末尾,写到缓存文件里面去
setProgress(threadId, startPos + len);
}
// 获取下载结束时间,输出
long curTime = System.currentTimeMillis();
System.out.println("线程" + threadId + "已经下载完成,耗时:" + (curTime - startTime) + "ms.");
// 关闭流、文件和连接
downloadFile.close();
mConnection.disconnect();
bis.close();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 从temp文件获取下载进度
*
* @param threadId
* @return
*/
private long getProgress(int threadId) {
try {
File markFile = new File(tempFilePath);
if (!markFile.exists()) {
return 0;
}
FileInputStream fis = new FileInputStream(markFile);
BufferedInputStream bis = new BufferedInputStream(fis);
byte[] buf = new byte[1024];
String startPos = "";
int len = -1;
while ((len = bis.read(buf)) != -1) {
startPos += new String(buf, 0, len);
}
// 不关闭流的话,不能删除文件
fis.close();
bis.close();
return Long.parseLong(startPos);
} catch (Exception e) {
e.printStackTrace();
}
return 0;
}
/**
* 在temp文件记录下载进度
*
* @param threadId
* @param startPos
*/
private void setProgress(int threadId, long startPos) {
try {
File markFile = new File(tempFilePath);
if (!markFile.getParentFile().exists()) {
markFile.getParentFile().mkdirs();
}
RandomAccessFile rr = new RandomAccessFile(markFile, "rw");// 存储下载标记的文件
String strStartPos = String.valueOf(startPos);
rr.write(strStartPos.getBytes(), 0, strStartPos.length());
rr.close();
} catch (Exception e) {
e.printStackTrace();
} finally {
// 当文件下载完成时,即开始位置和结束位置重合时,删除记录进度的缓存文件
if (startPos >= endPos) {
File markFile = new File(tempFilePath);
if (markFile.exists()) {
System.out.println("markFile delete");
markFile.delete();
}
}
}
}
}