不借助深度学习框架,零起点实现神经网络的重要算法。
正确使用模型和各种深度学习框架,离不开对原理的了解,如果对整体原理了然于胸,在应用深度学习框架的时候,可以避免陷入“盲人摸象”的窘境,看清全貌,直达本质,解决工程实践中遇到的问题。
-
提出问题。
-
以问题为动机引出模型。
-
介绍模型原理、必要推导和实例。
-
实现模型算法。
-
解决问题与验证。
章 | 目标问题 | 模型、算法 | 数据集 |
---|---|---|---|
1 | 空间中的二分类 | 感知机MLP、SGD | 源码生成目标数据集,无需下载 |
2 | 多分类图像识别 | 全连接神经网络FCN、Softmax方法、信息熵与交叉熵、反向传播推导 | MNIST手写数字识别,1D方式载入 |
3 | 图像识别(acc>90%) | 深层全连接神经网络DNN、隐藏层、激活函数、过拟合与正则化、DNN的反向传播推导 | 同上、1D方式载入 |
4 | 图像识别 | 卷积神经网络CNN、卷积与互相关、边缘填充、最大池化与平均池化、CNN反向传播推导 | 同上、3D方式载入 |
5 | 图象识别 | CNN的提速与优化、向量化、Momentum、NAG、Adagrad、RMSprop、AdaDelta、Adam算法及实现 | 同上、3D方式载入 |
6 | 图象识别 | 批量规范化 Batch Norm动机、作用、训练、推理、反向传播推导 | 同上、3D方式载入 |
7 | 序列分析 | 循环神经网络RNN前向计算、反向传播推导 | 源码生成目标数据集,无需下载 |
8 | 指数分析 | 长短时记忆网络LSTM前向计算、反向传播推导、梯度裁剪 | 选择1,原始数据,需要自行预处理:./data/沪深300历史数据.csv ; 选择2,预处理后数据,可直接用于训练和验证:./data/hs300_data_seq_nodate.csv |
9 | 情感分析 | 双向门控循环单元BiGRU前向计算、反向传播推导、Dropout正则化 | 选择1,原始数据,需自行预处理:IMDB原始数据、nltk停用词表、50维40万英文词嵌入矩阵。 选择2,预处理后的词向量数据(一半数据量),可直接用于训练和验证。https://pan.baidu.com/s/1VZaUCceA6oEmkDaUB9oFJw 提取码 9xdu |
Batch Norm结构
LSTM结构
GRU结构
./勘误_实战深度学习算法.pdf
欢迎同行交流知乎专栏 ,可从公众号 JerryX007Srv 获得更新提醒。