gpt2-pytorch-reproduce

project structure

gpt2_implementation/
├── config/
│   └── model_config.py       # 模型配置
├── data/
│   ├── dataset.py           # 数据集处理
│   └── tokenizer.py            # 分词器
├── model/
│   ├── attention.py         # 注意力机制
│   ├── embeddings.py        # 嵌入层
│   ├── gpt2.py             # GPT-2主模型
│   └── utils.py            # 模型工具函数
├── trainer/
│   ├── pretrain.py         # 预训练逻辑
│   └── finetune.py         # 微调逻辑
├── utils/
│   ├── logging_utils.py    # 日志工具
│   └── training_utils.py   # 训练工具
├── requirements.txt        # 项目依赖
└── README.md              # 项目文档

Citation