这里基本上整理了所有常用的llama3语言模型部署方式，你可以根据自己的兴趣进入不同的文件夹进行学习部署。
- 如果是笔记本电脑上运行，推荐使用
ollama或者LMStudio方式 - 如需在服务器上部署高性能的语言模型API，推荐使用
vllm方式 - 如果是想自行学习掌握代码手动推理实现，推荐查看
API和python文件夹 - 如果你是语言模型的训练者，想要每次训练完毕进行方便的对话调试，推荐使用
streamlit方式
deploy
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|
parent directory.. | ||||