Learn Reinforcement Learning & Deep Learning & Machine Learning The Experimental Way 《用实体实验法学强化学习, 深度学习和机器学习》

实验前的准备

• 重要：首先购买实验道具
• 作者简介
• 实验方法
• 调试学习代码段的N个阶段
• 重要：安装Anaconda
• 重要：通过conda安装PyTorch
• 重要：通过conda安装TensorFlow

体验深度学习和强化学习中处理的基本数据类型

• 1张图像中的100个RGB值
• 在线体验RGB与HSV之间的相互转换
• 在线体验1张图片的RGB颜色空间

体验神经网络中的数学原理

• 输入图像实例的数据和神经网络的代价函数
• 神经网络中用到的变量名和参数名的表示方法
• 第2层中3个神经单元的输入值和输出值
• 第3层中2个神经单元的输入值和输出值
• 用代价函数计算出1个学习实例的代价
• 用偏导数的链式法则求出梯度的1个向量
• 用反向传播算法求出梯度的1个向量

体验卷积神经网络中的数学原理

• 输入图像实例的数据和神经网络的代价函数
• 卷积神经网络中用到的变量名和参数名的表示方法
• 过滤器和卷积层中的输入值和输出值
• 池化层中的输入值和输出值
• 输出层3个神经单元的输入值和输出值
• 用代价函数计算出1个学习实例的代价
• 用反向传播算法求出梯度的1个向量

体验强化学习的基本概念

• 马尔可夫决策过程中的“智能体-环境”的交互模型
• 策略的回报和最优策略的最优回报
• 行动值函数(action-value-function)
• 状态值函数(state-value-function)
• Bellman方程

体验蒙特卡洛控制算法

• 预测
• 用Q-table评估
• 用ε-greedy策略改进
• 用constant-α控制

体验3种基本的时序差分控制方法

• Sarsa
• Q-learning
• Expected-Sarsa

体验Q-Learning的基本原理

• 定义状态和行动并且设定奖励值的大小
• 设置奖励矩阵R和Q-table矩阵Q
• Q-table中数值的第1个运算过程
• Q-table中数值的第2个运算过程
• Q-table中数值的第3个运算过程
• Q-table中数值的第4个运算过程
• Q-table中数值的第5个运算过程

体验机器学习的基本概念

• 数据集中多个数据的Mean,Median,和Mode
• 数据集中多个数据的Standard Deviation和Variance
• 数据集中多个数据的Percentile
• 数据集中多个数据的(Normal) Data Distribution
• 数据集中多个数据的Scatter Plot
• 用Linear Regression找出不同类型的数据间的相互关系
• 用Polynomial Regression找出不同类型的数据间的相互关系
• 用Multiple Regression找出不同类型的数据间的相互关系
• 用Scale找出不同类型的数据间的相互关系
• 用Train/Test的方法评估机器学习模型
• 体验决策树

体验遗传算法的基本原理

• 在线体验求解函数式的极值 (Hold,未来代码重构)
• 定义评价函数
• 随机生成种群
• 二进制与十进制的相互映射
• 适应度函数
• 选择
• 交叉
• 变异

附录

• 用NumPy操作矩阵及进行基本运算等

  • 生成随机数
  • 用arange()创建等差数组
  • 两个向量的数量积(内积)
  • 矩阵乘法

• 用Matplotlib绘出2D和3D图像

  • 绘出函数的2D图像
  • 绘出函数的3D图像(Hold,未来代码重构)

• 在线体验导数/正态分布/最小平方法等

  • 计算偏导数
  • 在Excel里生成正态分布的随机数(Wait)
  • 用Matplotlib绘出Step function (Hold,未来代码重构)
  • 用Matplotlib绘出最小平方法的线性拟合 (Hold,未来代码重构)
  • 通过最小平方法的线性拟合体验Cost funciton(Wait)

• Sigmoid function

  • 在坐标纸上手绘出大致的曲线
  • 使用NumPy调试的代码
  • 在online的Jupyter Notebook上使用Matplotlib绘出的曲线

• 其它

  • 使用蒙特卡罗方法计算圆周率近似值等