pixiv爬虫,爬取pixiv的插画作品
三种爬取方式:
- 通过输入的搜索内容和限制级别,下载收藏人数大于输入数值的插画作品
- 输入画师的用户id,下载画师的全部插画作品
- 输入插画作品id,下载该作品。(主要用于下载动图)
已测试:
windows10, python3.7
ubuntu, python3.10
termux, python3.10
- 安装python
- 安装 bs4, requests, imageio 三个python库
- 下载本项目代码
- 浏览器登录pixiv后复制cookie和ua粘贴到HTMLDownloader.py中
- 在SpiderMain.py中修改下载图片的默认路径
- python SpiderMain.py 运行程序
- 若遇到下载问题,请尝试将pixiv账号的r18与r18g开关打开
- 修复因网络状况不佳出现的下载图片残缺问题
- 修复因网络状况不佳导致的http.client.IncompleteRead异常问题
- 修复动图静图的分类可能出现的问题
- 显示搜索进度与下载进度