新人上手资料

对于一些新加入的成员，有很多需要你们学习和掌握的知识。

Python安装选择Anaconda Python。自己到官网上下载，看教程。

第一阶段 （神经网络）

1. 学习Python：（可以跟2同步进行） http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/
2. 学习神经网络模型： http://neuralnetworksanddeeplearning.com/
3. 项目：
   • 自定义的数据集
   • 使用神经网络求解：分类、回归

第二阶段 （CNN）

1. 利用Theano学习LeNet ： http://deeplearning.net/tutorial/lenet.html
2. 阅读经典论文：AlexNet
3. 项目：
   • 使用Theano自己实现：AlexNet

第三阶段（tensorfow）

1. 阅读tensorflow文档例子
2. 使用tensorflow在服务器上实现AlexNet，使用CIFAR-10数据集，运行求解AlexNet。

第四阶段（经典论文必读）

1. Network In Network
2. Batch Normalization
3. Deconvolution Network : link
4. Residual Network

研究阶段

预备知识：

• 主成分分析（PCA），白化（ZCA，whitening）
• Decision Tree，K-Means，KNN，logistic regression， LASSO
• 概率图+隐马尔科夫模型（HMM）
• RNN(Recurrent Neural Network)

问题相关背景知识：

• 图像特征：HOG、SIFT、color histogram
• 相关滤波、粒子滤波

TODO: @crackhopper @mingzailao @BeautyGirlForEver 分别完善各自领域下的进阶阅读资 料和paper list

Structures And Tricks

Initialization

• Greedy layer-wise training of deep networks (这篇是使用Auto-Encoder，采取DBN类似的layer-wise pretraining)
• The Difficulty of Training Deep Architectures and the Effect of Unsupervised Pre-Training (这篇有关于pretraining的大量实验，包括一些推测pretraining。不过有一些错误，比如，优化难点不是因为local minima，而是saddle points，后来的论文中有相关内容)
• Understanding the difficulty of training deep feedforward neural networks. (这篇是著名的Xavier初始化算法，被广泛使用，原理并不难)
• Delving deep into rectifiers: Surpassing human-level performance on imagenet classification (这篇是改进的Xavier，用以适应ReLU)

最新进展：

• All you need is a good init
• Data-dependent initializations of convolutional neural networks
• Generalizing and Improving Weight Initialization

以上3篇是最新关于初始化的集中进展。第一个是通过batch计算统计量，来初始化；第二个也通过batch，并有层内和层间调整的公式；最后一个，对dropout进行了一些处理，改进的文章投在ICLR2017上，正在review。 是根据dropout调整

Theory

• Exact solutions to the nonlinear dynamics of learning in deep linear neural networks(线性网络下使用动力系统分析了BP的过程，给出了BP优化快需要的条件)
• Provable Bounds for Learning Some Deep Representations.(使用概率的手段，在稀疏假设下，推导了神经网络的表达能力。给出了一个比较粗糙的网络连接构造的方法。)

Generative Model

Variational Inference

• VAE(Variational Auto Encoder) : Auto-Encoding Variational Bayes
• DRAW : DRAW: A Recurrent Neural Network For Image Generation

Generate Adversarial Network

• GAN : Generative Adversarial Nets
• CGAN : Conditional Generative Adversarial Nets
• InfoGAN : InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
• LAPGAN : Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
• DCGAN : Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
• Generative Adversarial Networks as Variational Training of Energy Based Models

Visual Tracking

Segmentation

• DeepMask Learning to Segment Object Candidates
• FCN Fully Convolutional Networks for Semantic Segmentation
• SharpMask Learning to Refine Object Segments

其他资料

学习书籍

• 李航：统计学习方法
• 周志华：机器学习
• Bishop： Pattern Recognition and Machine Learning
• Yoshua Bengio : Deep Learning
• Probabilistic Graphical Models: Principles and Techniques
• Numerical Optimization
• 数字图像处理（冈萨雷斯）
• 信号与系统（奥本海姆）
• Learning OpenCV

需要关注的会议：

http://www.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2567814757420

1. AAAI/CVPR/ICCV/ICML/IJCAI
2. COLTS/NIPS/ECCV/UAI/EMNLP/ECAI
3. ACCV/ICANN/BMVC/IJCNN
4. ICLR

工具：

1. git
2. latex
3. linux shell
4. emacs org-mode

备注

最重要的工具是快速学习和吸收知识的能力。

• 举个例子，比如，找到一篇论文，代码是用torch写的，怎么办？
• 答1： 不做啦！ （这种态度是不对的）
• 答2： 上网搜Torch，发现这个东西是用lua写的，不会lua，跟学长说我不会 （这种态度 也不对）
• 答3： 上网搜Torch，发现这个东西是用lua写的，学习lua知识，学习Torch用法，看懂源 代码，运行试验。（满分）