fixed mirror multi layer dir bug

git-cloner · Oct 28, 2023 · 50dd5fc · 50dd5fc
1 parent 35cc2b2
commit 50dd5fc
Show file tree

Hide file tree

Showing 3 changed files with 49 additions and 31 deletions.
diff --git a/dataroot/document/README.md b/dataroot/document/README.md
@@ -1,6 +1,45 @@
 ## aliendao.cn文档
 
-aliendao.cn（异形开源）是 huggingface.co（抱脸虫）资源的镜像网站，提供了常用的一些模型和数据集的下载服务。aliendao.cn的企业版e.aliendao.cn，提供了模型/数据集的下载、github仓库下载加速、高性能聊天和推理API服务。
+aliendao.cn（异形开源）是 huggingface.co（抱脸虫）资源的镜像网站，提供了常用的一些模型和数据集的下载服务。aliendao.cn的企业版e.aliendao.cn，提供了模型/数据集的下载、高性能聊天和推理API服务。
+
+### 大语言模型相关文章
+
+|         类别         | 链接                                                 | 说明                         |
+| :-------------------: | ---------------------------------------------------- | ---------------------------- |
+|        autogen        | https://zhuanlan.zhihu.com/p/663031095               | AutoGen+Chatglm2-6b实践（一）              |
+| autogen | https://zhuanlan.zhihu.com/p/663238122 | AutoGen+Chatglm2-6b实践（二） |
+| huggingface | https://huggingface.co/ | 全球最大的开源代码交流平台 |
+| gitclone        		| https://gitclone.com                                 | 国内最大的github镜像网站     |
+| aiit-chat       		| https://gitclone.com/aiit/chat/                      | gitclone发布的chat网站       |
+| LLaMA2 | https://zhuanlan.zhihu.com/p/646811859 | LLaMA2中文微调 |
+| LLaMA2 | https://zhuanlan.zhihu.com/p/645152512 | 在16G的推理卡上微调Llama-2-7b-chat |
+| lama-lora-fine-tuning | https://github.com/git-cloner/llama-lora-fine-tuning | 低资源微调LLaMA，复现alpaca  |
+|      alpaca-lora      | https://github.com/little51/alpaca-lora              | 低资源微调LLaMA，复现alpaca |
+| FastChat | https://github.com/little51/FastChat | 部署Vicuna-7B |
+| ChatGLM-6B | https://github.com/little51/ChatGLM-6B | 部署ChatGLM-6B |
+| alpaca | https://zhuanlan.zhihu.com/p/638979593 | 使用deepspeed和lora复现alpaca |
+| vicuna-7b | https://zhuanlan.zhihu.com/p/633469921 | 在单块16G的推理卡上微调复现vicuna-7b |
+| FastChat | https://zhuanlan.zhihu.com/p/624286959 | FastChat+vicuna1.1部署与流式调用实践 |
+| ChatGLM-6B | https://zhuanlan.zhihu.com/p/620233511 | 清华ChatGLM-6B模型实践 |
+| ColossalAI | https://zhuanlan.zhihu.com/p/620070973 | ColossalAI推理实践 |
+| Chinese-LLaMA-Alpaca | https://zhuanlan.zhihu.com/p/619954588 | Chinese-LLaMA-Alpaca实践 |
+| 环境安装 | https://zhuanlan.zhihu.com/p/597063490 | linux安装nvidia驱动、cuda、conda（centos） |
+| gpt-j-6b | https://zhuanlan.zhihu.com/p/594946225 | 在亚马逊aws的云主机上搭建gpt-j-6b模型 |
+| gitclone | https://zhuanlan.zhihu.com/p/141597698 | 利用缓存加速从github clone |
+
+### 下载过程FAQ
+
+如果下载模型的速度很慢或无法下载，请按以下步骤查找问题：
+
+- 判断本机到下载服务器是否通，使用以下命令确认
+
+  telnet 61.133.217.139 20800
+
+- 确认是否支付，因为异型岛企业版为付费下载服务，订单是与模型相关联的，一个订单只能下载一种模型
+
+- 确保model_download.py为最新的，因为新的程序支持断点续传，如果发生意外断开可在上次下载的基础上继续下载
+
+- 确认是否安装了conda环境，是否安装了huggingface_hub
 
 ### 大语言模型应用API
 
@@ -69,28 +108,4 @@ modelname：有两个取值：ChatGLM-6b和Qwen-7b
 }
 ```
 
-**注意：需要多次调用，直到stop为true停止调用**
-
-### 大语言模型相关文章
-
-|         类别         | 链接                                                 | 说明                         |
-| :-------------------: | ---------------------------------------------------- | ---------------------------- |
-| huggingface      		| https://huggingface.co/                              | 全球最大的开源代码交流平台   |
-| gitclone        		| https://gitclone.com                                 | 国内最大的github镜像网站     |
-| aiit-chat       		| https://gitclone.com/aiit/chat/                      | gitclone发布的chat网站       |
-| LLaMA2 | https://zhuanlan.zhihu.com/p/646811859 | LLaMA2中文微调 |
-| LLaMA2 | https://zhuanlan.zhihu.com/p/645152512 | 在16G的推理卡上微调Llama-2-7b-chat |
-| lama-lora-fine-tuning | https://github.com/git-cloner/llama-lora-fine-tuning | 低资源微调LLaMA，复现alpaca  |
-|      alpaca-lora      | https://github.com/little51/alpaca-lora              | 低资源微调LLaMA，复现alpaca |
-| FastChat | https://github.com/little51/FastChat | 部署Vicuna-7B |
-| ChatGLM-6B | https://github.com/little51/ChatGLM-6B | 部署ChatGLM-6B |
-| alpaca | https://zhuanlan.zhihu.com/p/638979593 | 使用deepspeed和lora复现alpaca |
-| vicuna-7b | https://zhuanlan.zhihu.com/p/633469921 | 在单块16G的推理卡上微调复现vicuna-7b |
-| FastChat | https://zhuanlan.zhihu.com/p/624286959 | FastChat+vicuna1.1部署与流式调用实践 |
-| ChatGLM-6B | https://zhuanlan.zhihu.com/p/620233511 | 清华ChatGLM-6B模型实践 |
-| ColossalAI | https://zhuanlan.zhihu.com/p/620070973 | ColossalAI推理实践 |
-| Chinese-LLaMA-Alpaca | https://zhuanlan.zhihu.com/p/619954588 | Chinese-LLaMA-Alpaca实践 |
-| 环境安装 | https://zhuanlan.zhihu.com/p/597063490 | linux安装nvidia驱动、cuda、conda（centos） |
-| gpt-j-6b | https://zhuanlan.zhihu.com/p/594946225 | 在亚马逊aws的云主机上搭建gpt-j-6b模型 |
-| gitclone | https://zhuanlan.zhihu.com/p/141597698 | 利用缓存加速从github clone |
-
+**注意：需要多次调用，直到stop为true停止调用**
diff --git a/e/README.md b/e/README.md
@@ -12,7 +12,11 @@ e.aliendao.cn是异型岛（aliendao.cn）的企业版，相对于社区版，
 
 提供web版的chat服务[https://chat.aliendao.cn](https://chat.aliendao.cn) 及API，使用专用的GPU资源。
 
-#### 3、客户服务
+#### 3、相关文档
+
+作者的一些大语言模型实践文章、下载过程常见问题及API见 [https://e.aliendao.cn/document](https://e.aliendao.cn/document)
+
+#### 4、客户服务
 
 客户服务、商务合作请发邮件至 [email protected]
 

diff --git a/model_mirror.py b/model_mirror.py
@@ -29,16 +29,15 @@ def get_links(url):
 
 
 def getFileNameFromRepoid(_repo_id):
-    #_, temp = _repo_id.split("/")
-    #return temp + '.txt'
     return "files.txt"
 
 
-def write_listfiles(_repo_id):
+def write_listfiles(_repo_id, baseurl):
     fileName = getFileNameFromRepoid(_repo_id)
     with open(fileName, 'w') as f:
         for link in all_links:
             f.write(link + '\n')
+            f.write(" out=" + link.replace(baseurl, "")+'\n')
 
 
 def _writeHintFile(_local_dir):
@@ -79,7 +78,7 @@ def make_mirror(_root, repo_id):
     url = _root + "/download/models/" + repo_id + "/"
     all_links.clear()
     get_links(url)
-    write_listfiles(repo_id)
+    write_listfiles(repo_id, url)
     download_files(repo_id)