你可以在这里找到BELLE的官方Notebooks实现列表
你可以在colab里面打开这里任何一个notebooks (notebook最上面提供了打开colab的按钮) ,你也可以在下面链接打开它们:
Notebook | Description | Colab |
---|---|---|
BELLE-GPTQ Colab推理 | 提供了BELLE 8bit量化的BLOOM模型在Colab运行的示例代码(由于模型对机器配置要求,暂时只有Colab Pro账户才能成功运行,正在进行优化使普通账户也能运行) ,该代码运行时内存最高消费20G,GPU显存只需要10G即可运行,当然你本地机器如果满足上述硬件条件,也可以将Notebook下载到本地运行。 |
BELLE不同模型运行时,需要满足的最低硬件配置条件
Model | Description | RAM | GPU |
---|---|---|---|
bloom7b-2m-8bit-128g.pt | BELLE BLOOM 7B 200万训练数据版8bit量化后权重 | 20G | 11G |