XXL-CRAWLER

XXL-CRAWLER, a object-oriented web crawler framework..
-- Browse website. --

Introduction

XXL-CRAWLER is a flexible and efficient、object-oriented web crawler framework. One line of code develops a distributed crawler.

XXL-CRAWLER 是一个灵活高效、面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫；

Documentation

• 中文文档

Features

• 1、面向对象：通过VO对象描述页面信息，提供注解方便的映射页面数据，爬取结果主动封装Java对象返回；
• 2、多线程；
• 3、扩散全站：将会以现有URL为起点扩散爬取整站；
• 4、去重：防止重复爬取；
• 5、URL白名单：支持设置页面白名单正则，过滤URL；
• 6、异步：支持同步、异步两种方式运行；
• 7、自定义请求信息，如：请求参数、Cookie、userAgent等；
• 8、轻量级：底层实现仅依赖jsoup，简洁高效；
• 9、超时控制：支持设置爬虫请求的超时时间；
• 10、主动停顿：爬虫线程处理完页面之后进行主动停顿，避免过于频繁被拦截；
• 11、单个页面支持抽取多个PageVO；

Communication

• 社区交流

Contributing

Contributions are welcome! Open a pull request to fix a bug, or open an Issue to discuss a new feature or change.

欢迎参与项目贡献！比如提交PR修复一个bug，或者新建 Issue 讨论新特性或者变更。

接入登记

更多接入的公司，欢迎在 登记地址 登记，登记仅仅为了产品推广。

Copyright and License

This product is open source and free, and will continue to provide free community technical support. Individual or enterprise users are free to access and use.

• Licensed under the GNU General Public License (GPL) v3.
• Copyright (c) 2015-present, xuxueli.

产品开源免费，并且将持续提供免费的社区技术支持。个人或企业内部可自由的接入和使用。

Donate

No matter how much the amount is enough to express your thought, thank you very much ：）

无论金额多少都足够表达您这份心意，非常感谢 ：） XXL系列捐赠记录

微信： 支付宝：