Skip to content

hpc 教程,包含集合通信(mpi、nccl)、cuda 编程、向量化 SIMD、RDMA 通信等

License

Notifications You must be signed in to change notification settings

jinbooooom/ai-infra-hpc

Folders and files

NameName
Last commit message
Last commit date

Latest commit

76f5638 · Jan 15, 2025

History

46 Commits
Jan 14, 2025
Jan 14, 2025
Jan 14, 2025
Sep 11, 2024
Jan 15, 2025
Jan 2, 2025
Jan 13, 2025
Jul 23, 2024
Jul 23, 2024
Jul 23, 2024
Jan 14, 2025
Jul 23, 2024

Repository files navigation

AI-Infra HPC 学习与总结

Stargazers repo roster for @jinbooooom/ai-infra-hpc Forkers repo roster for @jinbooooom/ai-infra-hpc

本仓库用于记录 AI-Infra 与 HPC 技术:

  • AI System 的底层技术
  • 集群多机多卡互联技术
  • 并行计算与高性能计算
  • 训练与推理

文件夹说明

各文件夹的内容如下:

├── 01 chip		# 芯片硬件
├── 02 hpc		# 高性能计算
│   ├── 01 openmp	
│   ├── 02 simd
│   └── 05 cuda		# GPU 编程
├── 03 link		# 多机多卡互联底层通信
│   ├── 01 noc		# 片上网络
│   ├── 02 pcie		# PCI-Express(peripheral component interconnect express)
│   ├── 03 topo		# 多机多卡互联以及拓扑相关
│   ├── 05 gpuDirect 	# GPU 与 Host、GPU、IB 网卡、NVMe SSD 的底层通信
│   └── 08 infiniband 	# IB 网卡与 RDMA 通信
├── 04 storage		# 存储
├── 05 ccl 		# 集合通信
│   ├── mpi 		# MPI 的使用与教程
│   └── nccl 		# NCCL 的使用、设计
├── 06 train&infer 	# 训练与推理
├── 99 industryReport 	# 行业前沿报告

About

hpc 教程,包含集合通信(mpi、nccl)、cuda 编程、向量化 SIMD、RDMA 通信等

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published