Skip to content

Latest commit

 

History

History
 
 

补天爬虫

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 
1.bt.py是爬公益SRC的脚本,要求输入cookie和对应的页数
2.bt2.py是爬专属SRC的脚本,要求输入cookie
3.chuli.py用于处理抓取到的url
4.domain_search_single.py单个查询子域名,接口为:站长工具的子域名查询
5.domain_search_file.py文件查询子域名,接口为:站长工具的子域名查询 直接读取doc_host里面的所有txt


doc_host抓取到的url
doc_name公司名称
doc_text备注或者其他一些说明与测试说明
domain查询到的子域名放在里面
doamin_file查询到的子域名放到里面

By 九世