当前位置:  编程技术>java/j2ee

使用java实现http多线程断点下载文件(二)

    来源: 互联网  发布时间:2014-10-22

    本文导语:  下载工具我想没有几个人不会用的吧,前段时间比较无聊,花了点时间用java写了个简单的http多线程下载程序,纯粹是无聊才写的,只实现了几个简单的功能,而且也没写界面,今天正好也是一个无聊日,就拿来写篇文章,班...

下载工具我想没有几个人不会用的吧,前段时间比较无聊,花了点时间用java写了个简单的http多线程下载程序,纯粹是无聊才写的,只实现了几个简单的功能,而且也没写界面,今天正好也是一个无聊日,就拿来写篇文章,班门弄斧一下,觉得好给个掌声,不好也不要喷,谢谢!
我实现的这个http下载工具功能很简单,就是一个多线程以及一个断点恢复,当然下载是必不可少的。那么大概先整理一下要做的事情:
1、连接资源服务器,获取资源信息,创建文件
2、切分资源,多线程下载
3、断点恢复功能
4、下载速率统计
大概就这几点吧,那么首先要做的就是连接资源并获取资源信息,我这里使用了JavaSE自带的URLConnection进行资源连接,大致代码如下:

代码如下:

String urlStr = “http://www.sourcelink.com/download/xxx”; //资源地址,随便写的
URL url = new URL(/tech-java/urlStr/index.html); //创建URL
URLConnection con = url.openConnection(); //建立连接
contentLen = con.getContentLength(); //获得资源长度
File file = new File(filename); //根据filename创建一个下载文件,也会是我们最终下载所得的文件

很简单吧,没错就是这么简单,第一步做完了,那么接下来要做第二步,切分资源,实现多线程。在上一步我们已经获得了资源的长度contentLen,那么如何根据这个对资源进行切分呢?假如我们要运行十个线程,那么我们就先把contentLen处以10,获得每块的大小,然后在分别创建十个线程,每个线程负责其中一块的写入,这就需要利用到RandomAccessFile这个类了,这个类提供了对文件的随机访问,可以指定向文件中的某一个位置进行写入操作,大致代码如下:
代码如下:

long subLen = contentLen / threadQut; //获取每块的大小
//创建十个线程,并启动线程
for (int i = 0; i < threadQut; i++) {
DLThread thread = new DLThread(this, i + 1, subLen * i, subLen * (i + 1) - 1); //创建线程
dlThreads[i] = thread;
QSEngine.pool.execute(dlThreads[i]); //把线程交给线程池进行管理
}

在这里使用到了DLThread这个类,我们先来看看这个类的构造方法的定义:
public DLThread(DLTask dlTask, int id, long startPos, long endPos)
第一个参数为一个DLTask,这个类就代表一个下载任务,里面主要保存这一个下载任务的信息,包括下载资源名,本地文件名等等的信息。第二个参数就是一个标示线程的id,如果有10个线程,那么这个id就是从1到10,第三个参数startPos代表该线程从文件的哪个地方开始写入,最后一个参数endPos代表写到哪里就结束。
我们再来看看,一个线程启动后,具体如何去下载,请看run方法:
代码如下:

public void run() {
System.out.println("线程" + id + "启动");
BufferedInputStream bis = null; //创建一个buff
RandomAccessFile fos = null;
byte[] buf = new byte[BUFFER_SIZE]; //缓冲区大小
URLConnection con = null;
try {
con = url.openConnection(); //创建连接,这里会为每个线程都创建一个连接
con.setAllowUserInteraction(true);
if (isNewThread) {
con.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);//设置获取资源数据的范围,从startPos到endPos
fos = new RandomAccessFile(file, "rw"); //创建RandomAccessFile
fos.seek(startPos); //从startPos开始
} else {
con.setRequestProperty("Range", "bytes=" + curPos + "-" + endPos);
fos = new RandomAccessFile(dlTask.getFile(), "rw");
fos.seek(curPos);
}
//下面一段向根据文件写入数据,curPos为当前写入的未知,这里会判断是否小于endPos,
//如果超过endPos就代表该线程已经执行完毕
bis = new BufferedInputStream(con.getInputStream());
while (curPos < endPos) {
int len = bis.read(buf, 0, BUFFER_SIZE);
if (len == -1) {
break;
}
fos.write(buf, 0, len);
curPos = curPos + len;
if (curPos > endPos) {
readByte += len - (curPos - endPos) + 1; //获取正确读取的字节数
} else {
readByte += len;
}
}
System.out.println("线程" + id + "已经下载完毕。");
this.finished = true;
bis.close();
fos.close();
} catch (IOException ex) {
ex.printStackTrace();
throw new RuntimeException(ex);
}
}

上面的代码就是根据startPos和endPos对文件机型写操作,每个线程都有自己独立的一个资源块,从startPos到endPos。上面的方式就是线程下载的核心,多线程搞定后,接下来就是实现断点恢复的功能,其实断点恢复无非就是记录下每个线程完成到哪个未知,在这里我就是使用curPos进行的记录,大家在上面的代码就应该可以看到,我会记录下每个线程的curPos,然后在线程重新启动的时候,就把curPos当成是startPos,而endPost则不变即可,大家有没注意到run方法里有一段这样的代码:
代码如下:

if (isNewThread) { //判断是否断点,如果true,代表是一个新的下载线程,而不是断点恢复
con.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);//设置获取资源数据的范围,从startPos到endPos
fos = new RandomAccessFile(file, "rw"); //创建RandomAccessFile
fos.seek(startPos); //从startPos开始
} else {
con.setRequestProperty("Range", "bytes=" + curPos + "-" + endPos);//使用curPos替代startPos,其他都和新创建一个是一样的。
fos = new RandomAccessFile(dlTask.getFile(), "rw");
fos.seek(curPos);
}

上面就是断点恢复的做法了,和新创建一个线程没什么不同,只是startPos不一样罢了,其他都一样,不过仅仅有这个还不够,因为如果程序关闭的话,这些信息又是如何保存呢?例如文件名啊,每个线程的curPos啊等等,大家在使用下载软件的时候,相信都会发现在软件没下载完的时候,在目录下会有两个临时文件,而其中一个就是用来保存下载任务的信息的,如果没有这些信息,程序是不知道该如何恢复下载进度的。而我这里又如何实现的呢?我这个人比较懒,又不想再创建一个文件来保存信息,然后自己又要读取信息创建对象,那太麻烦了,所以我想到了java提供序列化机制,我的想法就是直接把整个DLTask的对象序列化到硬盘上,上面说过DLTask这个类就是用来保存每个任务的信息的,所以我只要在需要恢复的时候,反序列化这个对象,就可以很容易的实现了断点功能,我们来看看这个对象保存的信息:
代码如下:

public class DLTask extends Thread implements Serializable {
private static final long serialVersionUID = 126148287461276024L;
private final static int MAX_DLTHREAD_QUT = 10; //最大下载线程数量
/** *//**
* 下载临时文件后缀,下载完成后将自动被删除
*/
public final static String FILE_POSTFIX = ".tmp";
private URL url;
private File file;
private String filename;
private int id;
private int Level;
private int threadQut; //下载线程数量,用户可定制
private int contentLen; //下载文件长度
private long completedTot; //当前下载完成总数
private int costTime; //下载时间计数,记录下载耗费的时间
private String curPercent; //下载百分比
private boolean isNewTask; //是否新建下载任务,可能是断点续传任务
private DLThread[] dlThreads; //保存当前任务的线程
transient private DLListener listener; //当前任务的监听器,用于即时获取相关下载信息

如上代码,这个对象实现了Serializable接口,保存了任务的所有信息,还包括有每个线程对象dlThreads,这样子就可以很容易做到断点的恢复了,让我重新写一个文件保存这些信息,然后在恢复的时候再根据这些信息创建一个对象,那简直是要我的命。这里创建了一个方法,用于断点恢复用:
代码如下:

private void resumeTask() {
listener = new DLListener(this);
file = new File(filename);
for (int i = 0; i < threadQut; i++) {
dlThreads[i].setDlTask(this);
QSEngine.pool.execute(dlThreads[i]);
}
QSEngine.pool.execute(listener);
}

实际上就是减少了先连接资源,然后进行切分资源的代码,因为这些信息已经都被保存在DLTask的对象下了。
看到上面的代码,不知道大家注意到有一个对象DLListener没有,这个对象实际上就是用于监听整个任务的信息的,这里我主要用于两个目的,一个是定时的对DLTask进行序列化,保存任务信息,用于断点恢复,一个就是进行下载速率的统计,平均多长时间进行一个统计。我们先来看下它的代码,这个类也是一个单独的线程:
代码如下:

public void run() {
int i = 0;
BigDecimal completeTot = null; //完成的百分比
long start = System.currentTimeMillis(); //当前时间,用于记录开始统计时间
long end = start;
while (!dlTask.isComplete()) { //整个任务是否完成,没有完成则继续循环
i++;
String percent = dlTask.getCurPercent(); //获取当前的完成百分数
completeTot = new BigDecimal(dlTask.getCompletedTot()); //获取当前完成的总字节数
//获得当前时间,然后与start时间比较,如果不一样,利用当前完成的总数除以所使用的时间,获得一个平均下载速度
end = System.currentTimeMillis();
if (end - start != 0) {
BigDecimal pos = new BigDecimal(((end - start) / 1000) * 1024);
System.out.println("Speed :"
+ completeTot
.divide(pos, 0, BigDecimal.ROUND_HALF_EVEN)
+ "k/s " + percent + "% completed. ");
}
recoder.record(); //将任务信息记录到硬盘
try {
sleep(3000);
} catch (InterruptedException ex) {
ex.printStackTrace();
throw new RuntimeException(ex);
}
}
//以下是下载完成后打印整个下载任务的信息
int costTime =+ (int)((System.currentTimeMillis() - start) / 1000);
dlTask.setCostTime(costTime);
String time = QSDownUtils.changeSecToHMS(costTime);
dlTask.getFile().renameTo(new File(dlTask.getFilename()));
System.out.println("Download finished. " + time);
}

这个方法中的recoder.record()方法的调用就是用于序列化任务对象,其他的代码均为统计信息用的,具体可看注释,record该方法的代码如下:
代码如下:

public void record() {
ObjectOutputStream out = null;
try {
out = new ObjectOutputStream(new FileOutputStream(dlTask.getFilename() + ".tsk"));
out.writeObject(dlTask);
out.close();
} catch (IOException ex) {
ex.printStackTrace();
throw new RuntimeException(ex);
} finally {
try {
out.close();
} catch (IOException ex) {
ex.printStackTrace();
throw new RuntimeException(ex);
}
}
}

到这里,大致的代码都完成了,不过以上的代码都是部分片段,只是作为一个参考给大家看下,而且由于本人水平有限,代码很多地方都没有经过过多的考虑,没有经过优化,仅仅只是自娱自乐,所以可能有很多地方都写的很烂,这个程序也缺乏很多功能,连界面都没有,所以整个程序的代码就不上传了,免得丢人,呵呵。希望对有兴趣的朋友尽到一点帮助吧。

    
 
 

您可能感兴趣的文章:

  • pycharm 使用心得(五)断点调试
  • 如何在eclipse中使用断点来调试程序
  • PHP使用range协议实现输出文件断点续传代码实例
  • 命令行使用支持断点续传的java多线程下载器
  • 各位大大仙,请教使用java做ftp的断点续传程序!!
  • 使用java实现http多线程断点下载文件(一)
  • linux 下多线程 每个线程能否使用alarm来处理,信号是否会乱呢?
  • 困惑:子线程如何使用主线程的变量?
  • 如何实现这样的API,可同时被不同的进程/线程使用,但是又不区分进程/线程?
  • 请问在单进程,多线程程序里,线程间使用IPC的信号量来同步,能行吗?
  • java多线程编程之使用runnable接口创建线程
  • java线程之使用Runnable接口创建线程的方法
  • 使用信号量如何退出线程?
  • 多线程中动态链接库的使用
  • Java多线程之中断线程(Interrupt)的使用详解
  • 在多线程中使用select
  • 在unix下做webserver,使用多进程?多线程?
  • 如何锁定源代码,一次只能有一个线程使用?
  • 各位大侠,想问问驱动程序中(linux或者windows平台)可否使用线程?
  • 请教:多线程使用同一个socket进行数据收发会出现什么问题?
  • 请问如果要同时使用STL和多线程,会很麻烦么
  • 驱动多线程中频繁使用mdelay会对系统造成问题吗?
  • 有没有使用过Linux下线程池技术的高手,请为我指点迷津!!!
  • 请教一个pthread线程库的使用的问题
  • Shell有没有多线程,怎么使用?!
  • 请问可以在一个Servlet里使用多线程和SOCKET吗?
  •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • sharepoint 2010 使用STSNavigate函数实现文件下载举例
  • 弱智问题:我们怎么才知道要使用的方法需要实现什么接口才能使用这个方法呢?
  • 使用java jdk中的LinkedHashMap实现简单的LRU算法
  • 请问谁能讲讲使用软件实现的mcu原理。
  • 在Python3中使用urllib实现http的get和post提交数据操作
  • 可不可以在程序中直接使用ftp客户端的函数实现文件传输?
  • 使用libpcap实现抓包程序的步骤及代码示例
  • 如何使用http协议实现流媒体的传输?
  • juqery的python实现:pyquery学习使用教程
  • 使用JavaScript实现的Flash运行环境 Gordon
  • 使用Applet能不能实现基于浏览器的打印呢???
  • 请问使用或安装什么软件能够实现Win2000下访问Linux分区?
  • 急急!!!高分求助,关于实现LINUX软件的使用限制问题
  • 在ACC下不使用循环怎样实现,读取文件指定行的数据.
  • 请教使用openobex库实现蓝牙传输的问题
  • 如何使用shell文件实现linux环境下的挂载功能,具体代码!!
  • Linux下的Socket通信如何断开连接的端口从而实现重复使用该端口
  • 怎样在不使用offices产品开启WORD下实现将WORD内容转化为图片的格式
  • python使用循环实现批量创建文件夹示例
  • 使用实现状态栏?
  • 高分求救怎样使用libnet实现TCP的封堵技术!!!!
  • C++ I/O 成员 tellg():使用输入流读取流指针
  • 在测试memset函数的执行效率时,分为使用Cash和不使用Cash辆种方式,该如何控制是否使用缓存?
  • C++ I/O 成员 tellp():使用输出流读取流指针
  • 求ibm6000的中文使用手册 !从来没用过服务器,现在急需使用它,不知如何使用! 急!!!!!
  • Python不使用print而直接输出二进制字符串
  • 请问:在使用oracle数据库作开发时,是使用pro*c作开发好些,还是使用库函数如oci等好一些啊?或者它们有什么区别或者优缺点啊?
  • Office 2010 Module模式下使用VBA Addressof
  • 急求结果!!假设一个有两个元素的信号量集S,表示了一个磁带驱动器系统,其中进程1使用磁带机A,进程2同时使用磁带机A和B,进程3使用磁带机B。
  • windows下tinyxml.dll下载安装使用(c++解析XML库)
  • c#中SAPI使用总结——SpVoice的使用方法


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3