补天爬虫
Folders and files
Name | Name | Last commit date | ||
---|---|---|---|---|
parent directory.. | ||||
1.bt.py是爬公益SRC的脚本,要求输入cookie和对应的页数 2.bt2.py是爬专属SRC的脚本,要求输入cookie 3.chuli.py用于处理抓取到的url 4.domain_search_single.py单个查询子域名,接口为:站长工具的子域名查询 5.domain_search_file.py文件查询子域名,接口为:站长工具的子域名查询 直接读取doc_host里面的所有txt doc_host抓取到的url doc_name公司名称 doc_text备注或者其他一些说明与测试说明 domain查询到的子域名放在里面 doamin_file查询到的子域名放到里面 By 九世