当前位置: 软件>java软件
Java网页爬虫 JSpider
本文导语: JSpider是一个用Java实现的WebSpider,JSpider的执行格式如下:jspider [URL] [ConfigName]URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。JSpider 的行为是由配置文件具体配置的,比如采用什么插件,...
JSpider是一个用Java实现的WebSpider,JSpider的执行格式如下:
jspider [URL] [ConfigName]
URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。
JSpider 的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在conf[ConfigName]目录下设置。JSpider默认的配置种类 很少,用途也不大。但是JSpider非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对JSpider的原理有深入的了 解,然后根据自己的需求开发插件,撰写配置文件。