Java爬虫可以非常溜

xxl-crawler是 许雪里 大佬开源的一个java爬虫，熟悉java语言的用起来可以非常顺手。

代码仓库：

https://github.com/xuxueli/xxl-crawler

官网文档：

https://www.xuxueli.com/xxl-crawler/#爬虫示例参考

0x01：新建工程，并在pom.xml文件引入

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-crawler</artifactId>
    <version>1.2.2</version></dependency><dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.11.2</version></dependency>

0x02：编写页面数据对象

在此推荐两款工具，可以直观迅速的获取页面元素的Jquery cssQuery表达式。

• Chrome DevTools：首先定位元素位置，然后从Element选中选中元素，点击右键选择“Copy + Copy selector”即可;

Chrome DevTools使用如图

• Jquery Selector Helper（Chrome插件）：首先定位元素位置，然后从Element右侧打开Selector界面，然后定位元素即可；

package com.spider.page.vo;import com.xuxueli.crawler.annotation.PageFieldSelect;import com.xuxueli.crawler.annotation.PageSelect;import com.xuxueli.crawler.conf.XxlCrawlerConf.SelectType;@PageSelect(cssQuery = "body > div.container > div > div > table > tbody > tr")public class GzGemasComCnPageMainVo {

    @PageFieldSelect(cssQuery = "td:nth-child(1)")
    private String code;

    @PageFieldSelect(cssQuery = "td:nth-child(2)")
    private String title;

    @PageFieldSelect(cssQuery = "td:nth-child(3)")
    private String status;

    @PageFieldSelect(cssQuery = "td:nth-child(4)")
    private String date;

    @PageFieldSelect(cssQuery = "td:nth-child(2) > a", selectType=SelectType.ATTR, selectVal="onclick")
    private String url;

    public String getCode() {
        return code;
    }

    public void setCode(String code) {
        this.code = code;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getStatus() {
        return status;
    }

    public void setStatus(String status) {
        this.status = status;
    }

    public String getDate() {
        return date;
    }

    public void setDate(String date) {
        this.date = date;
    }

    public String getUrl() {
        return url;
    }

    public void setUrl(String url) {
        this.url = url;
    }}

0x03：创建爬虫爬取数据

XxlCrawler crawler = new XxlCrawler.Builder()
                .setUrls("http://gz.gemas.com.cn/portal/article/proList.shtml?proType=guquan&typeGz=G3T3&proSource=&pageIndex=1")
                .setAllowSpread(false) //允许扩散爬取，将会以现有URL为起点扩散爬取整站
                .setThreadCount(1)
                .setPageParser(new PageParser<GzGemasComCnPageMainVo>() {
                    @Override
                    public void parse(Document html, Element pageVoElement, GzGemasComCnPageMainVo gzGemasComCnPageVo) {
                        // 解析封装 PageVo 对象
                        String pageUrl = html.baseUri();
                        logger.info("pageUrl: " + pageUrl);
                        logger.info("Code: " + gzGemasComCnPageVo.getCode() + ", Title: " + gzGemasComCnPageVo.getTitle() 
                            + ", sdate: " + gzGemasComCnPageVo.getDate() + ", url: " + gzGemasComCnPageVo.getUrl()
                            + ", status: " + gzGemasComCnPageVo.getStatus());
                    }
                })
                .build();crawler.start(true);

关键步骤视频说明：

原作者：Java乐园
原文链接：Java爬虫可以非常溜
原出处：公众号
侵删

标签：非常,Java,String,爬虫,xuxueli,cssQuery,com,public,crawler
来源： https://blog.51cto.com/15050718/2624632