知识库

知识库，总结在项目中实际使用的git命令，docker部署，mongodb，mysql等知识点

git知识库

• git安装以及设置
• git的基本命令

docker知识库

• 基础

mysql数据库知识库

• [第一天:基础]
  • Mysql数据库基础语法
• [第二天:提升练习]
  • 语法练习1
  • 语法练习2
• [第三天:mysql与python交互]
  • 交互

redis知识库

• [第一天:安装/基础]
  • redis安装以及基础语法
• [第二天:订阅]
  • 订阅

mongodb知识库

• 安装及配置
• 基础语法

PEP 8风格指南

• [风格指南](PEP 8风格指南.md)

Django知识库

• [第一天:环境与创建项目]
  • django概念介绍
  • virtualenv环境
  • 创建django项目
  • admin管理
• [第二天:模型]
  • 模型设计
  • 练习
• [第三天:模型加餐/模板]
  • 模型关联设计
  • 模板
• [第四天:视图1]
  • 路由/反向解析
• [第五天:视图2]
  • cookies/session
  • 登录/注册--自己实现
  • 登录/注册--django实现
• [第六天:插件]
  • 验证码/中间件/分页
  • 文件上传  
• [第七天:日志/restful]
  • 日志
  • restful1
• [第八天:权限、角色]
  • 权限、角色
• [第九天:restframework2]
  • 响应结构/ajax-CRUD
• [第十天:restframework3]
  • 分页/过滤/筛选
• [第十一天到十五天：项目]
  • 爱鲜蜂案例
  • centos7部署项目

Flask知识库

• [第一天:HelloFlask]

  - flask配置：微的定义，最小flask的web引用，虚拟环境搭建，安装flask
  - mvc概念
  - 项目运行管理：flask_script库使用，debug配置等
  

  • flask简介
  • flask蓝图

• [第二天:views]

  - 请求与响应：POST/GET请求传参，类字典的区别
  -  session/cookie概念：用法，redis的配置
  

  • flask请求与响应/错误处理
  • session/cookie

• [第三天:templates与models]

  • flask-template
  • flask-models1

• [第四天:models与一对多关系]

  • flask-models2

• [第五天:多对多关系/debugtoolbal]

  • flask-models3
  • flask-extensions

• [第六天到第10天：项目]

  • 爱家案例

爬虫

• [第一天:爬虫]

  - 概念：爬虫的由来/用来做什么
  - 数据采集与分析：urllib/requests/bs4/mongodb/mysql/redis等
  - 请求头-反爬虫：User-Agent，Accept，Accept-Language等
  - 百度搜索：中文的编码解码
  - ssl: ssl认证
  - 应用案例1：urllib获取百度首页源代码，其中User-Agent的使用
  - 应用案例2：爬去智联上某工作某地点的岗位个数
  - 作业1：爬取智联上某工作某地点的工作名称，公司等信息
  - 作业2：爬取格言网(https://www.geyanw.com/)上的某一个模块的名言警句
  - 作业3：爬取搜狗图片中的新垣结衣的图片
  

  • 爬虫引入/User-Agent讲解
  • 应用案例:爬取智联工作/百度源码

• [第二天:数据采集]

  - 爬取工具：requests使用、bs4使用、urllib使用
  - xpath语法、re正则表达式语法
  - 应用案例1：获取豆瓣电影中动态加载电影资源信息
  - 应用案例2:爬取知乎发现里面的提问的链接数，和链接地址
  

  • 采集(bs4/requests)
  • 提取xpath/re
  • 应用案例1:爬知乎的提问/豆瓣电影信息
  • 应用案例2:爬取搜狐体育的新闻信息

• [第三天:多线程爬虫]

  - 概念：线程、进程、同步、异步、并发、阻塞、非阻塞、并发、并行
  - 进程、线程概念：多线程定义，守护线程，线程启动
  - 线程锁
  - 应用案例1：I/O密集型，计算密集型的单线程多线程对比
  

  • 并发、并行、同步、异步线程、进程
  • 线程锁
  • 应用案例1:计算密集型和IO密集型的性能对比
  • 应用案例2:多线程爬虫

• [第四天:协程/数据持久化]

  - 迭代器、生成器的原理概念、斐波那契的实现
  - 协程的概念，原理，生产者-消费者的实现
  - 数据持久化，redis安装配置、缓存，mongodb安装配置、语法、缓存
  - aiohttp:异步非阻塞的
  

  • 协程
  • 练习题
  • 数据库持久化
  • 应用案例1:使用协程爬取豆瓣电影并持久化

• [第五天:动态解析]

   - 动态内容分析: 什么是动态内容，分析豆瓣的动态内容加载
   - javascript逆向，selenium自动化测试框架
   - 应用案例1: 使用selenium模拟登陆知乎
   - 应用案例2: 使用selenium解析豆瓣电影信息
  

  • 动态内容解析/selenium用法
  • 模拟登陆知乎并截图/解析豆瓣电影信息

• [第六天:验证]

  - 模拟登陆:请求url分析,请求参数分析，模拟登陆状态保持
  
  - form模拟登陆、验证码
  

  • 应用案例1：模拟登陆github
  • 应用案例2: 验证码识别

• [第七天--第十天]

  - scrapy框架组件，处理流程，数据持久化
  - scrapy项目环境搭建，创建项目命令，执行启动操作，各相关文件的处理逻辑
  - scrapy_redis分布式爬虫原理
  
  - 案例1：爬取起点小说网的小说分类，以及分类的url
  - 案例2：爬取豆瓣电影的信息，并使用mongodb持久化
  - 案例3：爬取链家房源信息，并存储在csv文件
  - 案例4：爬取微博大V的粉丝数，关注，博客等信息
  

  • scrapy框架的介绍以及案例1
  • scrapy爬虫豆瓣信息
  • scrapy爬取链家信息
  • scrapy爬取微博用户信息
    • 分析接口
    • 分析用户信息
    • 分析关注信息
    • 分析粉丝信息
    • IP代理池/User-Agent设置
  • scrapy爬取豆瓣即将上线电影/正在热播电影信息
  • 分布式爬虫