如何用java来爬取网页

说到爬虫,大家第一个想到的肯定是python的scrapyd爬虫。但是大家不知道吧,我们的java也有相应的爬虫工具。今天就给大家介绍一下我们java的爬虫工具。

我们今天要介绍的爬虫工具,名字叫做webmagic,webmagic的架构图如下所示:

image

如图所示,它主要分为四个部分:

  • Downloader(页面下载)
  • PageProcessor(页面分析及链接抽取)
  • Scheduler(URL管理)
  • Pipeline(后续处理和持久化)

webmagic的用法其实很简单,复杂的部分webmagic都替我们封装好了,接下来开始我们爬虫历程。

1.首先引入webmagic的依赖

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<!--webmagic依赖开始-->
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-core</artifactId>
<version>0.6.1</version>
</dependency>

<dependency>
<groupId>us.codecraft</groupId>
<version>0.6.1</version>
<artifactId>webmagic-extension</artifactId>
</dependency>

<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-selenium</artifactId>
<version>0.6.1</version>
</dependency>

<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.3.1</version>
</dependency>
<!--webmagic依赖结束-->

2.创建PageProcessor,用来处理网页数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
/**
* @author linzhiqiang
*/
public class CsdnBlogProcessor implements PageProcessor {
private Site site = Site
.me()
.setDomain("csdn.net")
.setSleepTime(3000)
.setUserAgent(
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");

@Override
public void process(Page page) {
System.out.println("html:"+page.getHtml());
}

@Override
public Site getSite() {
return site;
}
}

site中放置爬取的网站域名、cookie、请求头等信息。
process用来处理爬取到的网页数据,处理完的数据可以通过page.putField(),再通过Pipeline获取存储到数据库。

3.创建Pipeline,存储处理好的网页数据

1
2
3
4
5
6
7
8
9
10
11
public class CsdnPipeline implements Pipeline {
@Override
public void process(ResultItems resultItems, Task task) {
//文章题目
String title = resultItems.get("title");
//文章内容
String context = resultItems.get("context");
System.out.println("title:" + title);
System.out.println("context:" + context);
}
}

在process中通过resultItems来获取PageProcessor存储的page数据,最后我们可以将数据存储到redis、数据库、文件等地方。

4.利用Scheduler调度爬取任务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
public class RedisScheduler extends DuplicateRemovedScheduler implements
MonitorableScheduler, DuplicateRemover {
@Override
public int getLeftRequestsCount(Task task) {
return 0;
}

@Override
public boolean isDuplicate(Request request, Task task) {
return false;
}

@Override
public void resetDuplicateCheck(Task task) {
}

@Override
public int getTotalRequestsCount(Task task) {
return 0;
}

private int num = 0;

@Override
public Request poll(Task task) {
Request request = new Request("http://my.oschina.net/flashsword/blog/180623");
return request;
}
}

我们可以将我们要爬虫的任务,添加到Scheduler中,然后按照顺序一一爬取。

5.启动爬虫程序,开始爬取数据

1
2
3
4
5
6
7
8
public static void main(String[] args) {
RedisScheduler redisScheduler = new RedisScheduler();
Spider.create(new CsdnBlogProcessor())
.setScheduler(redisScheduler)
.addPipeline(new CsdnPipeline())
.thread(1)
.run();
}

从打印结果中,我们可以看到我们已经成功爬取到数据了。

image

官方文档:http://webmagic.io/

作者:林志强

林老师带你学编程 wechat
欢迎您扫一扫上面的微信公众号,订阅我的博客!