爬虫项目

这个项目是主要自己研究招聘网站上的职位以及对应的需求准备的一个python项目。

数据来源为拉钩和直聘网。 项目基于scrapy框架进行爬虫，使用mongodb存储爬取数据。中间会使用redis。做缓存存储，以及set过滤。