此FORK适用于只希望简单体验ChatGLM3的人,所以删除了很多对于这类人来说不必要的目录和文件
此FORK默认使用4-bit量化,从本地加载模型.模型文件请放在basic_demo或composite_demo目录的chatglm3-6b目录下
如果你使用windows或带有桌面的linux,更推荐你使用composite_demo,如果你使用命令行的linux,请使用basic_demo体验
如果你的GPU显存小于13G,那么可以直接克隆此仓库到本地使用,不需要做额外的修改代码操作
如果你的GPU显存大于13G,且又喜欢折腾,请离开此仓库,前往THUDM/ChatGLM3仓库,以免浪费时间
详情请阅读这篇文章
| Model | Seq Length | Download |
|---|---|---|
| ChatGLM3-6B | 8k | HuggingFace | ModelScope | WiseModel |
| ChatGLM3-6B-Base | 8k | HuggingFace | ModelScope | WiseModel |
| ChatGLM3-6B-32K | 32k | HuggingFace | ModelScope | WiseModel |