oyjt / PythonSimpleSpider Public

Notifications You must be signed in to change notification settings
Fork 0
Star 4

用Python写的简单的爬虫，包含百度百科的爬虫和知乎爬虫

4 stars 0 forks Branches Tags Activity

Name		Name	Last commit message	Last commit date
Latest commit History 4 Commits
.idea		.idea
baike_spider		baike_spider
douban_spider		douban_spider
zhihu_spider		zhihu_spider
.gitignore		.gitignore
README.md		README.md

Repository files navigation

PythonSimpleSpider

用Python写的简单的爬虫，包含百度百科的爬虫和知乎爬虫

环境

Python 3.5+

依赖

pip install beautifulsoup4

结构

文件	模块	描述
spider_main	程序控制模块	程序入口和控制中心
url_manager	链接管理模块	管理链接集合与信息
html_downloader	网页下载模块	根据URL获取HTML源码
html_parser	网页解析模块	根据HTML源码获取数据
html_outputer	数据输出模块	将数据以MD格式存储

启动

python spider_main.py