开篇

大数据技术前几年成就了很多科技公司，至于成就有多大不好说，反正是火了爬虫技术。因为很多大数据公司都是的数据都是爬虫爬取后进行数据清洗，然后分析出结果售卖的。例如很多网络舆情系统、网络热点监控系统等等。之前我所工作的公司就曾负责过这样一个项目。当然这些系统的核心是爬虫技术。今天就来调试这么一个项目，有需要开源项目地址的同学请移步至文章末尾，有开源作者链接。

爬虫技术简介

爬虫到底是啥？其实网络爬虫就是一个自动提取网页的程序，搜索引擎会用，大数据公司会用，很多灰色地带也会用，例如找漏洞的黑客。爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。对于大数据公司，爬取网上公开的数据分析出一些有价值的结果，供决策者们使用，当然过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

我就曾抓取一个天气网站的8年的公开数据，供我现在的公司分析农业天气数据使用，例如什么时候能种什么，什么时候不能种什么。当然今天的主题不是这些，是一个开源项目。

技术不论好坏

现在很多网站都有反爬虫技术，当然很多爬虫技术也在迭代升级。我们本篇不讨论爬虫技术的好坏，我觉得技术不分好坏，只有用技术的人分好坏。爬虫技术是很多公司的核心技术，也是攻城狮们不得不学的技术。

核心调试

1、永远的IDEA 从开源地址引入

导入后是这个样子的

2、引入爬虫sql，当然此爬虫项目有很多插件可用，我这里只调试最少可运行单元。感兴趣的可以自己去调试。插件有selenium、redis、mongodb、oss、ocr、IP代理池插件。

3、运行项目，此项目开源主页有详细介绍，我这里就只运行和看效果，系统图自带两个例子。

结语

该开源项目是gitee的GVP项目，是一个很好的学习爬虫的例子，当然如果不懂技术的同学可以自己学着使用，不用看代码也能用。但如果是懂技术的最好好看看，毕竟爬虫这技术，还是学学的好。很多公司发家就靠它了。开源让世界更美好，感谢开源作者。觉得有用就收藏转发关注吧，有需要爬虫项目项目地址的请私信"爬虫"，我把作者的开源地址发你。

我还调试了其他很多开源项目，觉得有用就看看吧：

花了三个小时调试 集合近50种常用小工具 开源项目

Java Springboot 开源微服务架构管理后台搭建实战

仿京东 SSO 调试开源的 单点登录 项目实战

Java 史上最全集成第三方登录 开源项目的调试实战

Java 分布式架构的 开源的支付项目 调试实战

Java 百分之百 开源的 基于Spring boot 的ERP 系统调试实战

开源的 OA 项目 调试实战