darkweb_spider

本爬虫使用scrapy框架开发，是面向暗网交易站的定制化爬虫。

三大特性

1. 多账户cookie请求，防止针对cookie的请求频率限制。
2. 增量爬取分类版块自定义页数的交易主题内容，目的是为了提高爬虫效率、绕反爬策略。
3. 使用redis去重url，提高爬虫效率。