知识库

知识库，总结在项目中实际使用的git命令，docker部署，mongodb，mysql等知识点

git知识库

• git安装以及设置
• git的基本命令

docker知识库

• 基础

mysql数据库知识库

• [第一天:基础]
  • Mysql数据库基础语法
• [第二天:提升练习]
  • 语法练习1
  • 语法练习2
• [第三天:mysql与python交互]
  • 交互

redis知识库

• [第一天:安装/基础]
  • redis安装以及基础语法
• [第二天:订阅]
  • 订阅

mongodb知识库

• 安装及配置
• 基础语法

PEP 8风格指南

• 风格指南

Django知识库

• [第一天:环境与创建项目]

  - 环境搭建: virtualenv的安装与使用,pycharm中环境的配置
  - Django概念: MVC模式/MVT模式
  - 项目创建: 创建Django工程目录，创建应用app，使用admin管理后台 
  

  • django概念介绍
  • virtualenv环境
  • 创建django项目
  • admin管理

• [第二天:模型]

  - M模型：模型的定义，字段的定义，max_length，default, null， unique等参数定义
  - ORM对象关系映射概念，数据的迁移
  - 数据的查询，all，filter，get等
  

  • 模型设计
  • 练习

• [第三天:模型加餐/模板]

  - 模型设计概念：一对一，一对多，多对多的模型定义
  - 模型设计案例：学生和学生拓展表一对一模型设计，学生和课程表多对多模型设计，学生和班级一对多模型设计
  - 数据的查询与添加
  

  • 模型关联设计
  • 模板

• [第四天:视图1]

  • 路由/反向解析

• [第五天:视图2]

  • cookies/session
  • 登录/注册--自己实现
  • 登录/注册--django实现

• [第六天:插件]

  • 验证码/中间件/分页
  • 文件上传  

• [第七天:日志/restful]

  • 日志
  • restful1

• [第八天:权限、角色]

  • 权限、角色

• [第九天:restframework2]

  • 响应结构/ajax-CRUD

• [第十天:restframework3]

  • 分页/过滤/筛选

• [第十一天到十五天：项目]

  • 爱鲜蜂案例2班
  • 爱鲜蜂案例3班
  • 爱鲜蜂案例4班
  • centos7部署项目
  • ubuntu部署项目

Flask知识库

• [第一天:HelloFlask]

  - flask配置：微的定义，最小flask的web引用，虚拟环境搭建，安装flask
  - mvc概念,项目的符合MVC模式的拆分
  - 项目运行管理：flask_script库使用，debug配置等
  

  • flask简介
  • flask蓝图

• [第二天:views]

  - 请求与响应：POST/GET请求传参，类字典的区别
  -  session/cookie概念：用法，redis的配置
  -  应用案例1：使用session模拟登陆功能，装饰器的定义使用
  

  • flask请求与响应/错误处理
  • session/cookie
  • 应用案例1：登录校验

• [第三天:templates与models]

  - 基础模板的定义，模板的继承，挖坑以及填坑。宏定义
  - 模板中逻辑控制，过滤器，以及静态static的配置
  - 模型的定义，数据库的创建，学生模型CRUD操作
  

  • flask-template
  • flask-models1

• [第四天:models与一对多关系]

  - 深入数据库的增删改查，查询数据filter和filter_by
  - 运算符--contains、startswith、__gt__等
  - 筛选--offset、limit、get、first、paginate等
  - 逻辑运算符--and_、or_、not_
  - 模型之间的一对多的关联关系的定义
  

  • flask-models2

• [第五天:多对多关系/debugtoolbal]

  - 模型之间的多对多的关联关系的定义，多对多的数据的CRUD
  - 拓展库的使用：debugtoolbar，flask_restful
  

  • flask-models3
  • flask-extensions

• [第六天到第10天：项目]

  • 爱家案例

• [Flask和Django区别]

  • 区别

爬虫

• [第一天:爬虫]

  - 概念：爬虫的由来/用来做什么
  - 数据采集与分析：urllib/requests/bs4/mongodb/mysql/redis等
  - 请求头-反爬虫：User-Agent，Accept，Accept-Language等
  - 百度搜索：中文的编码解码
  - ssl: ssl认证
  - 应用案例1：urllib获取百度首页源代码，其中User-Agent的使用
  - 应用案例2：爬去智联上某工作某地点的岗位个数
  - 作业1：爬取智联上某工作某地点的工作名称，公司等信息
  - 作业2：爬取格言网(https://www.geyanw.com/)上的某一个模块的名言警句
  - 作业3：爬取搜狗图片中的新垣结衣的图片
  

  • 爬虫引入/User-Agent讲解
  • 应用案例:爬取智联工作/百度源码

• [第二天:数据采集]

  - 爬取工具：requests使用、bs4使用、urllib使用
  - xpath语法、re正则表达式语法
  - 应用案例1：获取豆瓣电影中动态加载电影资源信息
  - 应用案例2:爬取知乎发现里面的提问的链接数，和链接地址
  

  • 采集(bs4/requests)
  • 提取xpath/re
  • 应用案例1:爬知乎的提问/豆瓣电影信息
  • 应用案例2:爬取搜狐体育的新闻信息

• [第三天:多线程爬虫]

  - 概念：线程、进程、同步、异步、并发、阻塞、非阻塞、并发、并行
  - 进程、线程概念：多线程定义，守护线程，线程启动
  - 线程锁
  - 应用案例1：I/O密集型，计算密集型的单线程多线程对比
  

  • 并发、并行、同步、异步线程、进程
  • 线程锁
  • 应用案例1:计算密集型和IO密集型的性能对比
  • 应用案例2:多线程爬虫

• [第四天:协程/数据持久化]

  - 迭代器、生成器的原理概念、斐波那契的实现
  - 协程的概念，原理，生产者-消费者的实现
  - 数据持久化，redis安装配置、缓存，mongodb安装配置、语法、缓存
  - aiohttp:异步非阻塞的
  

  • 协程
  • 练习题
  • 数据库持久化
  • 应用案例1:使用协程爬取豆瓣电影并持久化

• [第五天:动态解析]

   - 动态内容分析: 什么是动态内容，分析豆瓣的动态内容加载
   - javascript逆向，selenium自动化测试框架
   - 应用案例1: 使用selenium模拟登陆知乎
   - 应用案例2: 使用selenium解析豆瓣电影信息
  

  • 动态内容解析/selenium用法
  • 模拟登陆知乎并截图/解析豆瓣电影信息

• [第六天:验证]

  - 模拟登陆:请求url分析,请求参数分析，模拟登陆状态保持
  
  - form模拟登陆、验证码
  

  • 应用案例1：模拟登陆github
  • 应用案例2: 验证码识别

• [第七天--第十天]

  - scrapy框架组件，处理流程，数据持久化
  - scrapy项目环境搭建，创建项目命令，执行启动操作，各相关文件的处理逻辑
  - scrapy_redis分布式爬虫原理
  
  - 案例1：爬取起点小说网的小说分类，以及分类的url
  - 案例2：爬取豆瓣电影的信息，并使用mongodb持久化
  - 案例3：爬取链家房源信息，并存储在csv文件
  - 案例4：爬取微博大V的粉丝数，关注，博客等信息
  

  • scrapy框架的介绍以及案例1
  • scrapy爬虫豆瓣信息
  • scrapy爬取链家信息
  • scrapy爬取微博用户信息
    • 分析接口
    • 分析用户信息
    • 分析关注信息
    • 分析粉丝信息
    • IP代理池/User-Agent设置
  • scrapy爬取豆瓣即将上线电影/正在热播电影信息
  • 分布式爬虫

Tornado知识库