LLM

LLM 학습시키는 코드 모와둔 repo

packing

대략 packing해서 들어가면 attention_mask가 이런식으로 들어가게 됨.
근데 flash_attention은 attention_mask 따로 안주고, position_ids로 분간함.

Name		Name	Last commit message	Last commit date
Latest commit History 14 Commits
.vscode		.vscode
assets		assets
config		config
scripts		scripts
Dockerfile		Dockerfile
README.md		README.md
docker-compose.yml		docker-compose.yml
generator.py		generator.py
main.py		main.py
multi_evaluate.py		multi_evaluate.py
optimizer.py		optimizer.py
ruff.toml		ruff.toml