Skip to content

企查查企业信息爬虫 ,企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。

Notifications You must be signed in to change notification settings

zhaoboy9692/qccspider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

24 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

添加拦截sign的脚本#企查查每日新增企业数据抓取

  • 接口

    • 使用企查查获取token接口 qccspider/common/utils.py 可以看到
    • 抓取每日新增数据接口 qccspider/getnewdata.py 可以看到
  • 尚未完成的工作:

    • redis数据转存mysql
    • 代理池尚未设置
    • 企查查限制,每分钟请求大概不能超过30次,所有功能未加并发,请不要使用代理并发,会封账户的
  • 已经完成工作

    • 每天定时抓取
    • 自动刷新token
    • 省份、市的所有代码
    • token自动刷新
    • 根据地址自动将省份、市、区县进行分割
    • 所有数据存到redis里面
    • 可以自动登录,账号需要独立
    • getnewdata.py 项目主入口
    • other放城市和省份代码
    • common公用方法
    • getmoredata.py 获取更多的企业数据,包括经营范围、联系方式等
    • getnewdata.py 获取每日新增企业数据
    • 摒弃以前所用方法,采用新的思路
    • 新增将数据写入文本
    • 本代码只做学习交流,请勿用于非法渠道!!!
    • 本代码已经稳定运行3个多月
    • 由于企查查反爬策略升级,该代码已经无用。!!!
    • 添加拦截sign的脚本
    • 可以继续使用部分接口,sign算法可以继续用 话不多说,看图

About

企查查企业信息爬虫 ,企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages