machine learning & deep learning

notes

笔记-语雀

machine learning

AI learning - numpy + scipy

original github repository

代码实现在ai-learning包下

1. 跟着AI learning学习教程进行了代码实现。
2. 使用版本较新的API
3. 添加了练习使用到的的数据集
4. 使用jupyter-notebook 方便读者学习

机器学习-白板推导系列

video

github repository

机器学习-统计学习方法

The code is in the statistical-learning-methods package

from repository: lihang-code

deep learning

PyTorch深度学习实践

video

homework

代码实现在pytorch-deep-learning-tutorial包下

动手学深度学习v2

code in d2l-pytorch-slides package

video

book

course

d2l-zh-pytorch-slides-github

一起学deep_thoughts的tutorial

codes in deep-thoughts-tutorial package

video

一起学Modern-Computer-Vision-with-PyTorch

对书中代码进行了补充、注释

original code

read and recur papers

paper-roadmap-github

mli-paper-reading

video

tips: 建议使用python-3.8

在进行论文复现时有用到李沐老师的d2l包

选择合适的版本可以节约大家的时间~

自然语言处理 - Transformer

年份	名字	简介	recurrence
2017	Transformer	继MLP、CNN、RNN后的第四大类架构	⬜
2018	BERT	Transformer一统NLP的开始	⬜

自然语言处理 - 语音处理

年份	名字	简介	recurrence
2018	WAVE-U-NET	U-Net进行人声伴奏分离	⬜

计算机视觉 - CNN

年份	名字	简介	recurrence
2022	Patches Are All You Need?	ConvMixer减少参数	⬜
2012	AlexNet	深度学习热潮的奠基作	✅
2015	ResNet	构建深层网络都要有的残差连接。	✅
2021	RepVGG	算子融合, 深度可分离卷积网络	⬜
2022	ConvNeXt	2020s 下一代卷积	⬜
2015	U-Net	图像分割经典模型	⬜

计算机视觉 - Transformer

年份	名字	简介	recurrence
2020	ViT	Transformer杀入CV界	⬜
2021	MAE	BERT的CV版	⬜
2021	Swin Transformer	多层次的Vision Transformer	⬜

扩散模型 - Diffusion Model

年份	名字	简介	recurrence
2015	Deep Unsupervised Learning using Nonequilibrium Thermodynamics	首次提出diffusion	⬜
2020	Denoising Diffusion Probabilistic Models	在CV领域应用扩散模型	✅
2021	Diffusion Models Beat GANs on Image Synthesis	扩散模型与GAN	⬜
2022	Understanding Diffusion Models: A Unified Perspective	扩散模型博客	⬜

PointCloud 点云处理

年份	名字	简介	recurrence
2017	Point Net	深度学习点云处理开山之作	⬜
2022	Stratified Transformer for 3D Point Cloud Segmentation	3D点云之层级式Transformer	⬜
2021	Point Transformer	Transformer应用于点云	⬜
2022	Point Transformer_v2	Point Transformer v2	⬜
2023	Spherical Transformer for LiDAR-based 3D Recognition	3D语义分割SOTA	⬜

生成模型

年份	名字	简介	recurrence
2014	GAN	生成模型的开创工作	✅
2014	cGAN	条件生成对抗模型	✅
2016	LSGAN	最小二乘生成对抗模型 使用卷积网络	✅

对比学习

年份	名字	简介	recurrence
2018	InstDisc	提出实例判别和memory bank做对比学习	⬜
2018	CPC	对比预测编码，图像语音文本强化学习全都能做	⬜
2019	InvaSpread	一个编码器的端到端对比学习	⬜
2019	CMC	多视角下的对比学习	⬜
2019	MoCov1	无监督训练效果也很好	⬜
2020	SimCLRv1	简单的对比学习 (数据增强 + MLP head + 大batch训练久)	⬜
2020	MoCov2	MoCov1 + improvements from SimCLRv1	⬜
2020	SimCLRv2	大的自监督预训练模型很适合做半监督学习	⬜
2020	BYOL	不需要负样本的对比学习	⬜
2020	SWaV	聚类对比学习	⬜
2020	SimSiam	化繁为简的孪生表征学习	⬜
2021	MoCov3	如何更稳定的自监督训练ViT	⬜
2021	DINO	transformer加自监督在视觉也很香	⬜

图神经网络

年份	名字	简介	recurrence
2021	图神经网络介绍	GNN的可视化介绍	⬜

新领域

年份	名字	简介	recurrence
2021	指导数学直觉	分析不同数学物体之前的联系来帮助发现新定理	⬜

其它

年份	名字	recurrence
2006	A fast learning algorithm for deep belief nets	⬜
2006	Reducing the dimensionality of data with neural networks.	⬜
2014	Dropout	✅
2015	Deep learning-Three Giants' Survey	❌
2016	Layer Normalization	⬜
2017	Glow: Generative Flow	✅
2018	Automatic Differentiation in Machine Learning	❌
2021	R-Drop	✅

一起学习~ 有问题欢迎指出