当前位置: 软件>java软件
网络爬虫 goodcrawler
本文导语: goodcrawler(GC) 网络爬虫 GC是一个垂直领域的爬虫,同时也是一个拆箱即用的搜索引擎。 GC基于httpclient、htmlunit、jsoup、elasticsearch。 GC的特点: 1、具有DSL特性的模板。 2、分布式、可扩展。 3、辛亏有htmlunit,它能...
goodcrawler(GC) 网络爬虫
GC是一个垂直领域的爬虫,同时也是一个拆箱即用的搜索引擎。
GC基于httpclient、htmlunit、jsoup、elasticsearch。
GC的特点:
1、具有DSL特性的模板。
2、分布式、可扩展。
3、辛亏有htmlunit,它能较好地支持javascript。
5、合理的插件设计,方便功能扩充。
6、天然继承es,本身即是一个完整的搜索引擎。