pythonjob是一个基于Scrapy的工作爬虫，目前爬取了前程无忧和智联招聘两大网站的关于python工程师的职位信息。
- Windows 10 专业版
- Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7
- Requests
- Pymongo
- Faker(随机切换User-Agent)
在前程无忧和智联招聘网站上总共爬取了31156条有关python工作的有效信息。结果由爬虫先存储在MongoDB中，再导出为Excle文件。部分数据如下截图:
-
Notifications
You must be signed in to change notification settings - Fork 0
lanluyu/pythonjob
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
关于前程和智联的python工作的爬虫
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published