自然语言处理 中文分词 词性标注 命名实体识别 依存句法分析 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁 https://github.com/hankcs/HanLP
基于BERT的中文序列标注 https://github.com/zhpmatrix/bert-sequence-tagging
'CLUECorpus2020 - Large-scale Pre-training Corpus for Chinese 100G 中文预训练语料' https://github.com/CLUEbenchmark/CLUECorpus2020
TensorFlow code and pre-trained models for BERT https://github.com/google-research/bert https://github.com/codertimo/BERT-pytorch
BertViz - Tool for visualizing BERT's attention https://github.com/jessevig/bertviz
Facebook出品基于PyTorch的深度学习自然语言处理框架 https://github.com/facebookresearch/pytext
GIF动画解析RNN, LSTM, GRU https://towardsdatascience.com/animated-rnn-lstm-and-gru-ef124d06cf45
bert-Chinese-classification-task - bert中文分类实践 https://github.com/NLPScott/bert-Chinese-classification-task
使用预训练语言模型BERT做中文NER https://github.com/ProHiryu/bert-chinese-ner
PyTorch深度学习文本处理 https://github.com/castorini/Castor
跟踪NLP各项技术的state-of-the-art进展 https://nlpprogress.com/
Reading Wikipedia to Answer Open-Domain Questions https://github.com/zaghaghi/drqa-webui
transformer在summarization的尝试 https://github.com/lipiji/TranSummar
Neural-symbolic visual question answering https://github.com/kexinyi/ns-vqa
简洁方便获取BERT嵌入表示(MXNet/gluonnlp) https://github.com/imgarylai/bert-embedding
This code is for paper Fine-tune BERT for Extractive Summarization https://github.com/nlpyang/BertSum
中文聊天机器人小智 https://github.com/Doragd/Chinese-Chatbot-PyTorch-Implementation
Pre-Training with Whole Word Masking for Chinese BERT https://arxiv.org/abs/1906.08101 https://github.com/ymcui/Chinese-BERT-wwm
Simple XLNet implementation with Pytorch Wrapper https://github.com/graykode/xlnet-Pytorch
OpenCLaP：多领域开源中文预训练语言模型仓库 https://github.com/thunlp/OpenCLaP
https://github.com/huawei-noah/bolt https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
DocSearch：免费文档搜索引擎 https://github.com/algolia/docsearch
【SActive Bot：可扩展聊天机器人框架】 https://github.com/shipengqi/sactive-bot
X-BERT: eXtreme Multi-label Text Classification with BERT https://github.com/OctoberChang/X-BERT
Code for the paper "VisualBERT: A Simple and Performant Baseline for Vision and Language" https://github.com/uclanlp/visualbert
PyTorch code for ICCV'19 paper "Visual Semantic Reasoning for Image-Text Matching" https://github.com/KunpengLi1994/VSRN
Implementation of 'Pretraining-Based Natural Language Generation for Text Summarization' https://github.com/nayeon7lee/bert-summarization
Python code for training models in the ACL paper, "Beyond BLEU:Training Neural Machine Translation with Semantic Similarity". https://github.com/jwieting/beyond-bleu
【简单实用的BERT API服务】 https://github.com/robrua/easy-bert
【基于歌词相似性的歌曲搜索API】’searchly - 🎶 Song similarity search API based on lyrics' https://github.com/AlbertSuarez/searchly
中文歌词生成 https://github.com/yangjianxin1/QQMusicSpider
【Transformers语言模型可视化浏览/分析工具】 https://github.com/bhoov/exbert
【Mycroft：开源语音助理】 https://github.com/MycroftAI
https://github.com/bradtraversy/alexis_speech_assistant
【基于BERT的OpenKP序列标注】 https://github.com/thunlp/Bert2Tag
https://github.com/LingDong-/cope
【MeiliSearch：高效易用的开源全文搜索API】 https://github.com/meilisearch/MeiliSearch
【手把手教你用GPT-2辅助写作(内容生成)】 https://github.com/ADGEfficiency/creative-writing-with-gpt2
【用于中文闲聊的GPT2模型】 https://github.com/yangjianxin1/GPT2-chitchat
Awesome-Nlp-Questions https://github.com/Dikea/Awesome-Nlp-Questions
腾讯 800 万中文词向量 API Demo 搭建 https://mp.weixin.qq.com/s/JB3Tg8s8YHfLL0kLtR92kw
Transformers最新增加Distil-mBERT，模型更小，速度更快 https://github.com/huggingface/transformers/tree/master/examples/distillation
https://github.com/shaohua0116/ICLR2020-OpenReviewData
'FASPell - 产学界最强（SOTA）的简繁中文拼写检查工具：FASPell Chinese Spell Checker (Chinese Spell Check / 中文拼写检错 / 中文拼写纠错 / 中文拼写检查)' https://github.com/iqiyi/FASPell
句子相似性计算方法集，包括ELMo, BERT, USE等预训练模型 https://github.com/Huffon/sentence-similarity
BERT模型从训练到部署' https://github.com/xmxoxo/BERT-train2deploy
'GPT2 for Multiple Languages, including pretrained models. GPT2 多语言支持, 15亿参数中文预训练模型' https://github.com/imcaspar/gpt2-ml
'狗屁不通文章生成器 😓 - 偶尔需要一些中文文字用于GUI开发时测试文本渲染' https://github.com/menzi11/BullshitGenerator
基于 GPT-2-simple 的格言生成机器人 https://github.com/tomasrasymas/quote-me-ai
BERT 中文句子相似度计算 https://github.com/policeme/chinese-bert-similarity
Chinese-Text-Classification-Pytorch - 中文文本分类，TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention，DPCNN，Transformer，基于pytorch，开箱即用' https://github.com/649453932/Chinese-Text-Classification-Pytorch
DeepPavlov：用于构建端到端对话系统/训练聊天机器人的开源库 https://github.com/deepmipt/DeepPavlov
加速版结巴分词 https://github.com/deepcs233/jieba_fast
宗成庆教授《自然语言处理方法与应用》课程PPT https://bigquant.com/community/t/topic/160261
MONPA（罔拍）是一個提供正體中文分詞及 POS, NE 標註的模型 https://github.com/monpa-team/monpa
收集NLP领域相关的数据集、论文、开源实现，尤其是情感分析、情绪原因识别、评价对象和评价词抽取方面 https://github.com/haiker2011/awesome-nlp-sentiment-analysis
GPT2-Chinese - 中文的GPT2模型训练代码，基于Pytorch-Transformers，可以写诗，写新闻，写小说，或是训练通用语言模型等' https://github.com/Morizeyao/GPT2-Chinese
【全栈Transformer库(训练、推理与服务)】’Full Stack Transformer - Pytorch library for end-to-end transformer models training, inference and serving' https://github.com/alexeykarnachev/full_stack_transformer
【手把手：BERT入门到实战】《Bert: Step by step by Hugging face》 https://medium.com/swlh/bert-step-by-step-b7ff47fcfbe
'JioNLP - 简便中文NLP工具包' https://github.com/dongrixinyu/JioNLP
'Chinese sentence similarity - 中文问题句子相似度计算比赛及方案汇总' https://github.com/ShuaichiLi/Chinese-sentence-similarity-task
'PyTorch Transformers Tutorials - tutorials to fine tune transformers for diff NLP tasks' https://github.com/abhimishra91/transformers-tutorials
Wechaty：开源的个人号微信机器人接口，支持多种微信接入方案，只需6行代码即可搭建简单微信聊天机器人 https://github.com/wechaty/wechaty
【ChineseSemanticKB：面向中文处理的12类、百万规模的语义常用词典】 https://github.com/liuhuanyong/ChineseSemanticKB
'注意力机制、Transformer和预训练语言模型论文与相关资源集合' https://github.com/ZhengZixiang/ATPapers
【面向信息检索的知识图谱综述】 https://nowpublishers.com/article/Details/INR-063
【Otto：智能聊天应用，旨在帮助有抱负的机器学习工程师用最少的领域知识从有想法到最终实现，该应用也是Facebook AI挑战赛优胜项目】 https://github.com/KartikChugh/Otto
【GPT-3的“涂鸦式”解析】《The GPT-3 Architecture, on a Napkin》 http://dugas.ch/artificial_curiosity/GPT_architecture.html
'Modify Chinese text, modified on LaserTagger Model. 文本复述，基于lasertagger做中文文本数据增强。 https://github.com/tongchangD/text_data_enhancement_with_LaserTagger
https://github.com/abhimishra91/insight
Chinese-XLNet - Pre-Trained Chinese XLNet（中文XLNet预训练模型）,基于CMU/谷歌官方的XLNe https://github.com/ymcui/Chinese-XLNet
onnxt5：T5的ONNX实现版，可以以极快的速度进行文本摘要、翻译、情感分析、文本生成等等 https://github.com/abelriboulot/onnxt5
minGPT：300行PyTorch代码训练OpenAI GPT(微型实现)，小巧、整洁、易于理解 https://github.com/karpathy/minGPT
基于pytorch的中文语言模型预训练' https://github.com/zhusleep/pytorch_chinese_lm_pretrain
https://github.com/sfzhou5678/PretrainedLittleBERTs
【PyTorch实现的GPT-2】 https://github.com/affjljoo3581/GPT2
基于轻量级的albert实现albert+BiLstm+CRF https://github.com/MarsRoger/albert_ner
用Hugging Face+ONNX Runtime实现更快更小的量化NLP https://medium.com/microsoftazure/faster-and-smaller-quantized-nlp-with-hugging-face-and-onnx-runtime-ec5525473bb7
EasyTransfer：NLP迁移学习库 https://github.com/alibaba/EasyTransfer
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 https://zhuanlan.zhihu.com/p/49271699
EssayKiller - 基于开源GPT2.0的初代创作型人工智能 | 可扩展、可进化 https://github.com/EssayKillerBrain/EssayKiller_V2
keras-nlp：工业级Keras自然语言处理工作流 https://github.com/keras-team/keras-nlp
面向法律领域的一系列BERT模型，旨在推进法律相关NLP研究、计算法律和法律技术应用 https://huggingface.co/nlpaueb
基于 GPT2.0 的初代创作型人工智能框架：EssayKiller_V2
- 基于 EAST、CRNN、Bert 和 GPT-2 语言模型的高考作文生成 AI；
- 支持 bert tokenizer，当前版本基于 clue chinese vocab；
- 17 亿参数多模块异构深度神经网络，超 2 亿条预训练数据；
- 线上点击即用的文本生成效果 demo：17 亿参数作文杀手；
- 端到端生成，从试卷识别到答题卡输出一条龙服务。 https://github.com/EssayKillerBrain/EssayKiller_V2
中文文本生成（NLG）之文本摘要（text summarization）工具包 https://github.com/yongzhuo/nlg-yongzhuo
一篇英文的很好解释word2vec、ELMO、Transformer、BERT之间联系和区别的文章 http://jalammar.github.io/illustrated-bert/
面向深度学习研究人员的自然语言处理实例教程(TensorFlow/Pytorch) https://github.com/graykode/nlp-tutorial
自然语言处理、知识图谱相关语料大列表 https://github.com/SimmerChan/corpus
知识图谱问答相关文献资源列表 https://github.com/BshoterJ/awesome-kgqa
NLP顶会论文研读与复现 https://github.com/km1994/nlp_paper_study
deeplearning.ai自然语言处理专项课程笔记 https://github.com/alisher-ai/machine-learning-notes/tree/master/coursera-nlp-specialization
GuwenBERT: 古文预训练语言模型 a Pre-trained Language Model for Classical Chinese (Literary Chinese)' https://github.com/Ethan-yt/guwenbert
知识图谱教程/论文列表 https://github.com/heathersherry/Knowledge-Graph-Tutorials-and-Papers
Legal Text Analytics：法律文本分析相关资源、方法与工具列表 https://github.com/Liquid-Legal-Institute/Legal-Text-Analytics
TransformerSummarization - 基于Transformer的生成式文本摘要' https://github.com/HorieYuan/TransformerTextSummarization
知识图谱：概念与技术 https://github.com/tywee/knowledge-graph
基于RNN, Transformer, Bert, GPT2的生成式聊天机器人(对话系统) https://github.com/demi6od/ChatBot
动手学自然语言处理 https://towardsdatascience.com/learn-nlp-the-practical-way-b854ce1035c4
NLP学习指南 - 快速入门NLP，掌握各个任务的SOTA模型 https://github.com/leerumor/nlp_tutorial
对ACL2020 FastBERT论文的复现，论文地址:https://arxiv.org/pdf/2004.02178.pdf https://github.com/BitVoyage/FastBERT
https://github.com/wangjiezju1988/aichpoem 云服务器就可以访问本地物理机端口服务了。 autossh -M 5686 -fCNR *:8888:localhost:11456 [email protected] 其中，xxx.xxx.xxx.xxx 是云服务器的ip，user是用户账号， 8888是云服务器访问端口，可以自行设定，11456是本地GPU服务器flask监听的端口，这样就可以在云服务器上通过访问 127.0.0.1:8888既可以访问本地GPU服务器flask发布的11456服务
OpenAI发布DALL·E：GPT-3的一个120亿参数的版本，可根据文本描述生成图像，用自然语言操纵视觉概念 https://github.com/lucidrains/DALLE-pytorch
按 Task 划分的自然语言处理，知识图谱相关语料 https://github.com/SimmerChan/corpus
TextBox (妙笔)：统一的、模块化、可扩展的文本生成框架，包括16种文本生成算法 https://github.com/RUCAIBox/TextBox
基于Unilm模型的夸夸式闲聊机器人项目 https://github.com/liucongg/UnilmChatchitRobot
高质量中文预训练模型集合 https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models
你的名字-用诗经, 楚辞, 唐诗,宋词起名字 https://github.com/holynova/gushi_namer
Pororo：深度学习多语言自然语言处理库 https://github.com/kakaobrain/pororo
基于HanLP的Elasticsearch中文分词器 https://github.com/KennFalcon/elasticsearch-analysis-hanlp
PaddleNLP 2.0：PaddlePaddle自然语言处理模型库 https://github.com/PaddlePaddle/PaddleNLP
简洁易用版TinyBert：基于Bert进行知识蒸馏的预训练语言模型 https://github.com/Lisennlp/TinyBert
中文综述文章列表（自然语言处理&机器学习） https://github.com/NiuTrans/CNSurvey
Research code for ACL 2020 paper: "Distilling Knowledge Learned in BERT for Text Generation". https://github.com/ChenRocks/Distill-BERT-Textgen
All Word Embeddings from One Embedding https://github.com/takase/alone_seq2seq
As good as new. How to successfully recycle English GPT-2 to make models for other languages https://github.com/wietsedv/gpt2-recycle
AllenNLP入門 https://github.com/kajyuuen/allennlp-book
OpenAI发布DALL·E：GPT-3的一个120亿参数的版本，可根据文本描述生成图像，用自然语言操纵视觉概念 https://openai.com/blog/dall-e/ https://github.com/openai/DALL-E
Chatting with DialoGPT (Large-Scale Generative Pre-training for Conversational Response Generation) https://github.com/hyunwoongko/dialogpt-chat
GPT-3应用项目大列表 https://airtable.com/shrndwzEx01al2jHM/tblYMAiGeDLXe35jC
GPT-3应用项目大列表 https://airtable.com/shrndwzEx01al2jHM/tblYMAiGeDLXe35jC
甲言Jiayan - 甲言，专注于古代汉语(古汉语/古文/文言文/文言)处理的NLP工具包，支持文言词库构建、分词、词性标注、断句和标点 github.com/jiaeyan/Jiayan
Text Gen：文本生成库 github.com/Emekaborisama/textgen
GPT-3应用集锦 https://openai.com/blog/gpt-3-apps/
magic-square-poems：发现唐诗中的 幻方(纵横图) github.com/LingDong-/magic-square-poems
一个 Python 写的自然语言处理库。使用简单、功能强大，支持中文分词、词性标注、情感分析 https://github.com/isnowfy/snownlp
https://github.com/wb14123/seq2seq-couplet https://ai.binwang.me/couplet/
Hugging Face的Transformers模块集成GPT-3开源复现版GPT Neo https://huggingface.co/EleutherAI/gpt-neo-1.3B
PlainTextWikipedia：将Wikipedia数据集转换成纯文本文件 github.com/daveshap/PlainTextWikipedia
TorchBlocks：基于PyTorch的自然语言处理工具包 github.com/lonePatient/TorchBlocks
SPACES - 端到端的长本文摘要模型（法研杯2020司法摘要赛道） github.com/bojone/SPACES
基于知识图谱的医疗诊断知识问答系统 github.com/wangle1218/KBQA-for-Diagnosis
最大规模开箱即用的NLP数据集中心，带有快速、易用和高效数据操作工具的最大规模机器学习模型 github.com/huggingface/datasets
Transformer解析：理解GPT-3, BERT, T5背后的模型 https://daleonai.com/transformers-explained
Deploying Deep Learning Models in C++: BERT Language Model：用C++高效部署BERT深度语言模型 github.com/renatoviolin/BERT-cpp-inference
NLP数据增强文献集 github.com/styfeng/DataAug4NLP
《CPM-2: Large-scale Cost-efficient Pre-trained Language Models》(2021) github.com/TsinghuaAI/CPM-2
Chinese-Transformer-XL：智源研究院"文汇" 预训练模型Chinese-Transformer-XL的预训练和文本生成代码 github.com/THUDM/Chinese-Transformer-XL
Gramformer：用于检测、突出和纠正自然语言文本语法错误的框架 github.com/PrithivirajDamodaran/Gramformer
'simpleT5 - built on top of PyTorch-lightning⚡️ and Transformers🤗 that lets you quickly train your T5 models.' github.com/Shivanandroy/simpleT5
Few-NERD：大规模细粒度人工标记命名实体识别数据集 ningding97.github.io/fewnerd/
图深度学习自然语言处理文献集 github.com/graph4ai/graph4nlp_literature
Graph4NLP：面向自然语言处理的图深度学习库 github.com/graph4ai/graph4nlp
dictionaries - Fuzzing dictionaries for afl-fuzz/LibFuzzer 可能是目前最全面的开源模糊测试字典集合 github.com/salmonx/dictionaries
unif - 仿 Scikit-Learn 设计的深度学习自然语言处理框架, 支持 40+ 种模型类, 涵盖语言模型、文本分类、NER、MRC、机器翻译等各个领域 github.com/geyingli/unif
基于CPM模型的中文文本生成，可用于作文、小说、新闻、古诗等中文生成任务 github.com/yangjianxin1/CPM
基于PyTorch, fastai, HuggingFace的NLP实战教程 amarsaini.github.io/Epoching-Blog/jupyter/nlp/pytorch/fastai/huggingface/2021/06/27/NLP-from-Scratch-with-PyTorch-FastAI-and-HuggingFace.html github.com/AmarSaini/Epoching-Blog/blob/master/_notebooks/2021-06-27-NLP-from-Scratch-with-PyTorch-FastAI-and-HuggingFace.ipynb
NLPer-Arsenal - 收录NLP相关竞赛经验贴、NLP会议时间、常用自媒体、GPU推荐等 github.com/TingFree/NLPer-Arsenal
GPT-Code-Clippy (GPT-CC)：开源版GitHub Copilot，用基于GPT-3的模型自动补全代码 github.com/ncoop57/gpt-code-clippy
面向语法纠错的C4_200M合成数据集 github.com/google-research-datasets/C4_200M-synthetic-dataset-for-grammatical-error-correction
DomainWordsDict, Chinese words dict that contains more than 68 domains, which can be used as text classification、knowledge enhance task。涵盖68个领域、共计916万词的专业词典知识库，可用于文本分类、知识增强、领域词汇库扩充等自然语言处理应用 github.com/liuhuanyong/DomainWordsDict
自己定制训练GPT-3 github.com/HomebrewNLP/HomebrewNLP
Pytorch GPT-X - Train GPT-3 model on V100(16GB Mem) Using improved Transformer github.com/nawnoes/pytorch-gpt-x
An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA https://arxiv.org/abs/2109.05014
实例教程：用PyTorch实现BERT https://neptune.ai/blog/how-to-code-bert-using-pytorch-tutorial
基于transformers的自然语言处理(NLP)入门 - we want to create a repo to illustrate usage of transformers in chinese github.com/datawhalechina/learn-nlp-with-transformers
Mengzi中文预训练语言模型 github.com/Langboat/Mengzi
CINO: Pre-trained Language Models for Chinese Minority (少数民族语言预训练模型) github.com/ymcui/Chinese-Minority-PLM
AI-Writer，可用 GPT 来生成中文网文小说，模型训练数据来自网文。 项目内置基于 Python 运行的网页界面，并通过特殊采样方法，改善了小模型的生成质量。 GitHub：github.com/BlinkDL/AI-Writer
TextPruner：为预训练语言模型设计的模型裁剪工具包 github.com/airaria/TextPruner
pinyin-pro - 中文转拼音、拼音音调、拼音声母、拼音韵母、多音字拼音、拼音首字母 github.com/zh-lx/pinyin-pro
T0：比GPT-3小16倍性能优秀的语言模型 https://bigscience.huggingface.co/blog/t0
中文自然语言推理与语义相似度数据集 github.com/zejunwang1/CSTS
Pytorch-NLU - 只依赖pytorch、transformers、numpy、tensorboardX，专注于文本分类、序列标注的极简自然语言处理工具包 github.com/yongzhuo/Pytorch-NLU
Keras实例教程：用Hugging Face Transformers实现问答 https://keras.io/examples/nlp/question_answering/
200亿参数的开源语言模型GPT-NeoX-20B发布，是目前最大的可公开访问的预训练通用自回归语言模型 github.com/EleutherAI/gpt-neox https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/slim_weights/
深度学习自然语言处理技术概览 github.com/omarsar/nlp_overview
pNLP-Mixer: an Efficient all-MLP Architecture for Language https://arxiv.org/abs/2202.04350
NLP-Paper - 自然语言处理领域下的对话语音领域，整理相关论文（附阅读笔记），复现模型以及数据处理等 github.com/DengBoCong/nlp-paper
MRC_Competition_Dureader - 机器阅读理解 冠军/亚军代码及中文预训练MRC模型 github.com/basketballandlearn/MRC_Competition_Dureader
veGiantModel：(针对GPT, BERT, T5GPT, BERT, T5等大模型的)高效训练库(Torch) github.com/volcengine/veGiantModel
github.com/xueyouluo/speller-bert
Mutate：用大语言模型(LLM)合成文本数据集的Python库 github.com/infinitylogesh/mutate
Transformers Domain Adaptation：Transformer语言模型域自适应工具包 github.com/georgian-io/Transformers-Domain-Adaptation
现实世界大规模语言模型应用 jalammar.github.io/applying-large-language-models-cohere
大型源代码预训练语言模型使用指南 github.com/VHellendoorn/Code-LMs
Long Document Summarization with Top-down and Bottom-up Inference https://arxiv.org/abs/2203.07586
STriP Net: 科研论文语义相似度(S3P)网络 github.com/stephenleo/stripnet
nlp-notebook - NLP 领域常见任务的实现，包括新词发现、以及基于pytorch的词向量、中文文本分类、实体识别、摘要文本生成、句子相似度判断等 github.com/jasoncao11/nlp-notebook
text_analysis_tools - 中文文本分析工具包（包括- 文本分类 - 文本聚类 - 文本相似性 - 关键词抽取 - 关键短语抽取 - 情感分析 - 文本纠错 - 文本摘要 - 主题关键词-同义词、近义词-事件三元组抽取） github.com/murray-z/text_analysis_tools
shezhangbujianle - 借助世界上最大的单体中文NLP大模型—— 浪潮 源1.0 ，做出的可以跟人类玩“剧本杀”的AI…… github.com/bigbrother666sh/shezhangbujianle
ark-nlp：收集和复现学术与工作中常用的NLP模型 github.com/xiangking/ark-nlp
Converse：构建和部署面向任务聊天机器人的灵活框架 github.com/salesforce/Converse
Kaggle学生写作评价比赛第二名方案 github.com/ubamba98/feedback-prize
LEBERT-基于词汇信息融合的中文命名实体识别模型 github.com/yangjianxin1/LEBERT-NER-Chinese
SimCLUE：大规模语义理解数据集。可用于无监督对比学习、半监督学习等构建中文领域效果最好的预训练模型 github.com/CLUEbenchmark/SimCLUE
Minimal GPT-NeoX-20B - a fairly minimal implementation of GPT-NeoX-20B in PyTorch github.com/zphang/minimal-gpt-neox-20b
Optimum Transformers：面向CPU/GPU的Transformer加速NLP推理库 github.com/AlekseyKorshuk/optimum-transformers
github.com/HillZhang1999/CTC-Report
funNLP，几乎最全的中文 NLP 资源库。包括中英文敏感词、语言检测、中外手机 / 电话归属地 / 运营商查询、名字推断性别、手机号抽取、身份证抽取等内容。 github.com/fighting41love/funNLP
GitHub 上开源的 NLP 领域常见任务的实现：nlp-notebook，包括新词发现、以及基于 PyTorch 的词向量、中文文本分类、实体识别、摘要文本生成、句子相似度判断、三元组抽取、预训练模型等。 ithub.com/jasoncao11/nlp-notebook
基于TaCL-BERT的中文命名实体识别及中文分词 github.com/yxuansu/Chinese-TaCL-BERT-NER-CWS
bigbird中文预训练模型 github.com/LowinLi/chinese-bigbird
lm-debugger：用于检查和干预基于transformer语言模型的交互式工具 github.com/mega002/lm-debugger
Azimuth：面向文本分类的开源数据集和错误分析工具 github.com/ServiceNow/azimuth
字节跳动工程师在 GitHub 上整理的 NLP 论文列表（附阅读笔记），收录了一些比较经典或思路新奇的论文。 其中包含 NLP 领域下的对话语音领域，复现模型以及数据处理等（代码含 TensorFlow 和 PyTorch 两版本）。 github.com/DengBoCong/nlp-paper
GEC Information：语法纠错相关文献分类集锦 github.com/gotutiyan/GEC-Info
中文医学知识图谱CMeKG 工具 代码及模型 github.com/king-yyf/CMeKG_tools
Obsei: 面向文本分析的低代码自动化工具 github.com/lalitpagaria/obsei
TextClf ：基于Pytorch/Sklearn的文本分类框架，包括逻辑回归、SVM、TextCNN、TextRNN、TextRCNN、DRNN、DPCNN、Bert等多种模型，通过简单配置即可完成数据处理、模型训练、测试等过程 github.com/luopeixiang/textclf
AI 写小说项目，支持 N/A/I卡 GPU 加速。采用RWKV 模型，比 GPT 更快 地址：github.com/BlinkDL/AI-Writer 可在线体验：blinkdl.github.io/AI-Writer/
text-dedup：一站式文本去重工具 github.com/ChenghaoMou/text-dedup
一份NLP面试的知识点文档 https://worldbuilder.feishu.cn/docs/doccn4TItGMy5bqfEDxzWR6qhac
AdaTest：用自适应测试发现并修复自然语言机器学习模型中的缺陷 github.com/microsoft/adatest
中文语音预训练模型，用 WenetSpeech train_l 集的 1 万小时中文数据作为无监督预训练数据 github.com/TencentGameMate/chinese_speech_pretrain
'Text-Similarity - 文本相似度（匹配）计算，提供Baseline、训练、推理、指标分析...代码包含TensorFlow/Pytorch双版本' by DengBoCong GitHub: github.com/DengBoCong/text-similarity
【语言模型即服务(LMaaS)相关文献列表】’Awesome papers on Language-Model-as-a-Service (LMaaS)' by Tianxiang Sun GitHub: github.com/txsun1997/LMaaS-Papers
'sohu2022-nlp-rank1 - 2022搜狐校园算法大赛NLP赛道第一名开源方案（实验代码）' by jzm-chairman GitHub: github.com/jzm-chairman/sohu2022-nlp-rank1
【用PyTorch复现的Google's LaMDA开源预训练】’LaMDA-pytorch - Open-source pre-training implementation of Google's LaMDA in PyTorch. The totally not sentient AI.' by Enrico Shippole GitHub: github.com/conceptofmind/LaMDA-pytorch
【min-LLM：训练大语言模型的轻量代码】’min-LLM - Minimal code to train a Large Language Model (LLM).' by Sean Naren GitHub: github.com/SeanNaren/min-LLM
【KeyPhraseTransformer：基于T5 transformer的关键词/主题抽取工具】’KeyPhraseTransformer - Quickly extract key-phrases/topics from you text data with T5 transformer' by Shivanand Roy GitHub: github.com/Shivanandroy/KeyPhraseTransformer
【Holmes：基于谓词逻辑的英德文本信息提取】'Holmes - Information extraction from English and German texts based on predicate logic' by Explosion GitHub: github.com/explosion/holmes-extractor
'中文文本语义匹配模型集锦' by shawroad GitHub: github.com/shawroad/Semantic-Textual-Similarity-Pytorch
【PyTextClassifier：开箱即用的文本分类工具包，包括LR，Xgboost，TextCNN，FastText，BiLSTM_Attention，BERT等模型实现】’PyTextClassifier - pytextclassifier is a toolkit for text classification' by xuming GitHub: github.com/shibing624/pytextclassifier
【Efficient Large LM Trainer：大语言模型的高效训练】’Efficient Large LM Trainer' by Microsoft GitHub: github.com/microsoft/Efficient-Large-LM-Trainer
【EasyNLP：易于使用的综合NLP工具包】'EasyNLP: A Comprehensive and Easy-to-use NLP Toolkit - EasyNLP: A Comprehensive and Easy-to-use NLP Toolkit' by Alibaba GitHub: github.com/alibaba/EasyNLP
【GLM-130B: 开放双语预训练模型】'GLM-130B: An Open Bilingual Pre-Trained Model' by THUDM GitHub: github.com/THUDM/GLM-130B
【很好的NLP、视觉、语音、多模态、推荐系统等领域精选论文列表，适合入门精读参考】“Aman's AI Journal • Papers List” https://aman.ai/papers/
Python几何处理工具箱】’A Python Geometry Processing Toolbox - A collection of utility functions to prototype geometry processing research in python' by Silvia Sellán GitHub: github.com/sgsellan/gpytoolbox https://txt.cohere.ai/running-large-language-models-in-production-a-look-at-the-inference-framework-tif
【PyCantonese:Python粤语NLP库】’PyCantonese: Cantonese Linguistics and NLP in Python' by jacksonllee GitHub: github.com/jacksonllee/pycantonese
【DeepPavlov：构建在TensorFlow, Keras, PyTorch上的开源对话AI库】'DeepPavlov - an open-source conversational AI library built on TensorFlow, Keras and PyTorch’ GitHub: github.com/deeppavlovteam/DeepPavlov
推荐一个大模型开发神器，可以在线免费体验用 1750 亿参数的 OPT 模型完成多种文本生成任务，包括事实问答、聊天机器人、文章创作等，非常便捷。 在线体验：O网页链接 该项目核心背后，用到了面向大模型时代的通用深度学习系统 Colossal-AI，仅需几行代码，便能高效快速部署 AI 大模型训练和推理，促进 AI 大模型低成本应用和落地。 目前代码已在 GitHub 开源，并附有详细的中文使用教程。github.com/hpcaitech/ColossalAI
GLM-130B 是一个开源开放的双语（中文和英文）双向稠密模型，拥有 1300 亿参数，模型架构采用通用语言模型（GLM）。模型完全开放、共享；相关代码也完全开放。直接下载去吧 O网页链接 目标是助力研究、产业界超低成本理解大模型、超低成本使用大模型。经过量化至INT4，GLM-130B可以 4 张 3090 / 8 张 2080 Ti 上完成推理。这下大家不会说预训练模型贵了吧。。。 模型特点： 双语：同时支持中文和英文。 高精度（英文）： 在 LAMBADA 上优于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略优于 GPT-3 175B（+0.9%）。 高精度（中文）：在 7 个零样本 CLUE 数据集（+24.26%）和 5 个零样本 FewCLUE 数据集（+12.75%）上明显优于 ERNIE TITAN 3.0 260B。 快速推理：支持用一台 A100 服务器使用 SAT 和 FasterTransformer 进行快速推理（提速最高可达 2.5 倍）。 可复现性：所有结果（超过 30 个任务）均可通过我们的开源代码和模型参数轻松复现。 跨平台：支持在 NVIDIA、海光DCU、华为Ascend 910 和 神威Sunway 处理器上进行训练与推理。 https://keg.cs.tsinghua.edu.cn/glm-130b/zh/posts/glm-130b/ https://models.aminer.cn/democenter?demo=fill_blank_and_choice
'PKU-TANGENT nlp-tutorial - NLP新手入门教程' by PKU-TANGENT GitHub: github.com/PKU-TANGENT/nlp-tutorial
简单易用的 NLP 框架。基于 PyTorch 的 NLP 框架，支持文本命名实体识别(NER)、词性标注(PoS)、词义消歧和分类。项目中包含详细的使用教程，介绍了如何标记文本、训练语言模型等。 https://github.com/flairNLP/flair
【YATO：深度学习文本分析工具包】'YATO: Yet Another deep learning based Text analysis Open toolkit' by Jie Yang GitHub: github.com/jiesutd/YATO
【natbot：用GPT-3操作浏览器】’natbot - Drive a browser with GPT-3' by Nat Friedman GitHub: github.com/nat/natbot
'Pretty-Pytorch-Text-Classification - A (very pretty) Pytorch based Framework for Text Classification' by Haorui HE GitHub: github.com/HarryHe11/Pretty-Pytorch-Text-Classification
'timeparser - (中文)时间抽取、解析、标准化工具' by Junhui Yu GitHub: github.com/yujunhuics/timeparser
Answer，一个功能齐全的开源问答系统，可应用于产品技术支持、用户交流、工单管理等各种场景。完整适配了移动端，可通过 Docker 快速部署。 GitHub：github.com/answerdev/answer
[CL]《Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers》D Ippolito, A Yuan, A Coenen, S Burnam [Google Research] (2022) https://arxiv.org/abs/2211.05030
【chat-miner: 对话数据解析和可视化工具支持WhatsApp, Signal, Telegram, Facebook Messenger导出文件】’chat-miner: parsing of chat histories - Lean parsers and visualizations for chat data' by Jonas Weich GitHub: github.com/joweich/chat-miner
'MiniRBT (中文小型预训练模型)' by iFLYTEK GitHub: github.com/iflytek/MiniRBT
【Galactica：面向科研的大型语言模型，可以摘要学术文献、求解数学问题、生成维基文章、编写科研代码、标注分子和蛋白质等等】“Galactica Demo - an AI trained on humanity's scientific knowledge” O网页链接 Github: github.com/paperswithcode/galai
【BertViz：NLP模型(BERT, GPT2, BART, etc.)注意力可视化工具】’BertViz - BertViz: Visualize Attention in NLP Models (BERT, GPT2, BART, etc.)' by Jesse Vig GitHub: github.com/jessevig/bertviz
【ThoughtSource：大型语言模型思维链推理相关数据工具资源】'ThoughtSource - A central, open resource for data and tools related to chain-of-thought reasoning in large language models' by OpenBioLink GitHub: github.com/OpenBioLink/ThoughtSource
【深度学习现象识别与理解相关文献列表】’Awesome Deep Phenomena - A curated list of papers of interesting empirical study and insight on deep learning. Continually updating...' by Minghui Chen GitHub: github.com/MinghuiChen43/awesome-deep-phenomena
【nessie：语料库标注错误检测】’nessie - Automatically detect errors in annotated corpora.' by UKPLab GitHub: github.com/UKPLab/nessie
【Notion刚发布了Notion AI，用AI交互生成博客文章、交互修正语法、智能翻译】“Notion AI” https://www.notion.so/product/ai
【BERTopic+Whisper做视频话题聚类】《Using BERTopic and Whisper on Kurzgesagt’s videos》by Maarten Grootendorst towardsdatascience.com/using-whisper-and-bertopic-to-model-kurzgesagts-videos-7d8a63139bdf
【语义搜索相关资源列表】’awesome-semantic-search - Semantic search with embeddings: index anything' by Romain Beaumont GitHub: github.com/rom1504/awesome-semantic-search
【kogito：Python的NLP常识推理工具】'kogito - A Python Knowledge Inference Toolkit' by epfl-nlp GitHub: github.com/epfl-nlp/kogito
【无需大量计算资源改进现有语言模型】《Better Language Models Without Massive Compute | Google AI Blog》 https://ai.googleblog.com/2022/11/better-language-models-without-massive.html
【到目前为止我们所知的关于ChatGPT的一切】《The Day The AGI Was Born - L-Space Diaries》 https://lspace.swyx.io/p/everything-we-know-about-chatgpt
【用ChatGPT进行协同写作】《Collaborative Creative Writing with OpenAI’s ChatGPT》by Andrew Mayne andrewmayneblog.wordpress.com/2022/11/30/collaborative-creative-writing-with-openais-chatgpt/
'ChatGPT for Mac, living in your menubar.' by Vince Lwt GitHub: github.com/vincelwt/chatgpt-mac
'ChatGPT - Lightweight reverse engineered ChatGPT by OpenAI. No dependencies' by Antonio Cheong GitHub: github.com/acheong08/ChatGPT
'ChatGPT API - Node.js wrapper around ChatGPT. Uses headless Chrome until the official API is released.' byTravis Fischer GitHub: github.com/transitive-bullshit/chatgpt-api
'ChatGPT Telegram Bot - This is a very early attempt at having chatGPT work within a telegram bot' by altryne GitHub: github.com/altryne/chatGPT-telegram-bot
【ChatGPT-Google：(另一款)在Google搜索结果里显示ChatGPT应答的Chrome扩展】'ChatGPT-Google - Chrome Extension that Integrates ChatGPT (Unofficial) into Google Search' by Zohaib Ahmed GitHub: github.com/ZohaibAhmed/ChatGPT-Google
【ChatGPT for Google：在Google搜索结果里显示ChatGPT应答的Chrome扩展】’ChatGPT for Google - A Chrome extension to show ChatGPT response in Google search results' by Wang Dàpéng GitHub: github.com/wong2/chat-gpt-google-extension
【PyChatGPT：轻量基于TLS的ChatGPT API，在命令行无需手动登录即可使用ChatGPT】’PyChatGPT - Lightweight, TLS-Based ChatGPT API on your CLI without requiring a browser or access token' by Rawand Ahmed Shaswar GitHub: github.com/rawandahmad698/PyChatGPT
'GPTReview - Get OpenAI GPT models to review your PR's' by Maciej Kilian GitHub: github.com/iejMac/GPTReview
'ChatGPT-bot - Run your own GPTChat Telegram bot, with a single command!' by Miguel Piedrafita GitHub: github.com/m1guelpf/chatgpt-telegram
【ChatGPT(非官方)API】’Unofficial Python SDK for OpenAI's ChatGPT' by labteral GitHub: github.com/labteral/chatgpt-python
【ChatGPT-wechat-bot：(另一个)微信ChatGPT机器人】’ChatGPT-wechat-bot - ChatGPT for wechat' by AutumnWhj GitHub: github.com/AutumnWhj/ChatGPT-wechat-bot
【Welcome to wechat-chatgpt：在微信里玩ChatGPT，基于wechaty的ChatGPT微信接口】’Welcome to wechat-chatgpt - Use ChatGPT On Wechat via wechaty' by Holegots GitHub: github.com/fuergaosi233/wechat-chatgpt
'awesome-chinese-ner - 中文命名实体识别。包含目前最新的中文命名实体识别论文、中文实体识别相关工具、数据集，以及中文预训练模型、词向量、实体识别综述等。' by taishan1994 GitHub: github.com/taishan1994/awesome-chinese-ner
【Awesome ChatGPT：ChatGPT/GPT-3相关工具、Demo、文档大列表】’Awesome ChatGPT - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3' by Humanloop GitHub: github.com/humanloop/awesome-chatgpt
【ChatGPT Advanced：用搜索引擎结果增强ChatGPT的chrome插件】’ChatGPT Advanced - A browser extension that augments your ChatGPT prompts with web results.' by qunash GitHub: github.com/qunash/chatgpt-advanced
【用语音和ChatGPT对话】’chatgpt-conversation - Have a conversation with ChatGPT using your voice, and have it talk back.' by Giorgio Momigliano GitHub: github.com/platelminto/chatgpt-conversation
【ChatGPT Chrome Extension：将ChatGPT集成到每个文本框的Chrome扩展】’ChatGPT Chrome Extension - A ChatGPT Chrome extension. Integrates ChatGPT into every text box on the internet.' by Gabe Ragland GitHub: github.com/gragland/chatgpt-chrome-extension
【ChatGPT Desktop App：Mac, Windows, Linux都能用的跨平台第三方ChatGPT客户端应用】’ChatGPT Desktop App - OpenAI ChatGPT desktop app for Mac, Windows, & Linux menubar using Tauri & Rust' by Sonny Lazuardi GitHub: github.com/sonnylazuardi/chatgpt-desktop
【AntiFraudChatBot：简单的基于prompt的预训练大模型中文聊天人工智能框架】'AntiFraudChatBot - A simple prompt-chatting AI based on wechaty and fintuned NLP model' GitHub: github.com/Turing-Project/AntiFraudChatBot
GitHub 上的开源库：Awesome ChatGPT Prompts，里面整理了一系列与 ChatGPT 互动的玩法与技巧。 你可以通过这些玩法，让 ChatGPT 变成 Linux 终端、文本翻译与修正、技术面试官、故事家、脱口秀演员、写作指导顾问、心理咨询家等等。 GitHub：github.com/f/awesome-chatgpt-prompts
为什么ChatGPT这么强？—— 一文读懂ChatGPT原理！ https://zhuanlan.zhihu.com/p/590220208
【ChatGPT VSCode Extension：用ChatGPT开发的VSCode的ChatGPT插件】’ChatGPT VSCode Extension - A VS code plugin for ChatGPT built by ChatGPT' by Jay Barnes GitHub: github.com/barnesoir/chatgpt-vscode-plugin
'Awesome ChatGPT - Curated list of ChatGPT related resource, tools, prompts, apps / ChatGPT 相關優質資源、工具、應用的精選清單' by Eason Chang GitHub: github.com/Kamigami55/awesome-chatgpt
'ChatGPT Mirai QQ Bot - 使用 OpenAI 的 ChatGPT 进行聊天的 QQ 机器人，每个群组/好友单独一个 Conversation，文字转图片发送， Docker 快速部署，正/反向代理加速' by Dark Litss GitHub: github.com/lss233/chatgpt-mirai-qq-bot
【ChatGPT最佳用例分享网站】“The best ChatGPT examples from around the web” https://www.learngpt.com/
无需注册国内可访问的ChatGPT(反向代理) https://gpt.chatapi.art/
'wechatbot - 为个人微信接入ChatGPT' by 869413421 GitHub: github.com/869413421/wechatbot
【ChatGPT相关资源大列表】’awesome-chatgpt - Selected ChatGPT demos, tools, articles, and more ✨' by Sahar GitHub: github.com/saharmor/awesome-chatgpt
'QChatGPT - 基于OpenAI ChatGPT 开发的 QQ 机器人 bot，mirai+ChatGPT QQ实现，多平台一键部署，高稳定性' by Rock Chin GitHub: github.com/RockChinQ/QChatGPT
【Open-Chat-GPT：LAION-AI 的开放众包ChatGPT计划】’Open-Chat-GPT' by LAION AI GitHub: github.com/LAION-AI/Open-Chat-GPT
【语言模型推理相关文献资源列表】’LM-Reasoning-Papers - Repository for sharing papers in the field of Reasoning with Language Models, since "Chain of Thought Prompting Elicits Reasoning in Large Language Models"' by Armando Fortes GitHub: github.com/atfortes/LM-Reasoning-Papers
【bricks：模块化自然语言处理工具，包括分类器、提取器和生成器三大类众多基础模块】’bricks - Open-source natural language enrichments at your fingertips.' by Kern AI GitHub: github.com/code-kern-ai/bricks
【Potato: 方便易用的文本标注工具】’Potato: the POrtable Text Annotation TOol' by David Jurgens GitHub: github.com/davidjurgens/potato
深入浅出ChatGPT工作原理 https://www.assemblyai.com/blog/how-chatgpt-actually-works/
chatGPT们只是帮学生(老师)偷懒的工具吗？能否用chatGPT们提升课堂教学体验？最近看到两篇很有启发的文章，推荐给老师们： 《New Modes of Learning Enabled by AI Chatbots: Three Methods and Assignments》 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4300783&continueFlag=1007d600bf5b3984441151a13893b7dd 《Update Your Course Syllabus for chatGPT》 https://medium.com/@rwatkins_7167/updating-your-course-syllabus-for-chatgpt-965f4b57b003
'MLNLP社区翻译的NLP入门课程(Lena Voita 博士的 NLP Course | For You)’ https://mlnlp-world.github.io/NLP-Course-Chinese/index.html github.com/MLNLP-World/NLP-Course-Chinese
【中文科幻小说语料库】’chinese NLP corpus of chinese science fiction,chinese science fiction corpus : About 4675 Chinese science fiction novels 大约有4675本科幻小说，中文科幻小说自然语言处理语料库，中文科幻小说文本语料库，中文科幻小说文本数据库，科幻小说语料' Guhhhhaa GitHub: github.com/guhhhhaa/4675-scifi
【ChatRWKV：基于 RWKV (100% RNN) 语言模型的类似 ChatGPT 的对话机器人，支持中文】’ChatRWKV - ChatRWKV is like ChatGPT but powered by the RWKV (100% RNN) language model, and open source.' PENG Bo GitHub: github.com/BlinkDL/ChatRWKV
一个中文语言分析工具包。支持中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取 自动摘要 文本分类聚类等 https://github.com/hankcs/HanLP
【GPTZero的开源实现】’GPTZero - An open-source implementation of GPTZero' Burhan Ul Tayyab GitHub: github.com/BurhanUlTayyab/GPTZero
单核CPU实现每秒百万字中文分词！[哇]词频词库+隐马尔科夫模型打造，轻量级高性能中文分词项目，开源地址：github.com/fastcws/fastcws
【GPT-3应用案例集市】《500+ ChatGPT and GPT-3 Examples, Demos, Apps, Showcase, and AI Use-cases | Discover AI use cases》 https://gpt3demo.com/
【TextReducer - 摘要和信息抽取工具】'TextReducer - A Tool for Summarization and Information Extraction' Henry Leonardi GitHub: github.com/helliun/targetedSummarization
ChatGPT可视化笔记 https://www.linkedin.com/feed/update/urn:li:activity:7023226422127144960/ https://media.licdn.com/dms/image/C4D22AQFgVliRJ4RsBQ/feedshare-shrink_2048_1536/0/1674467662862?e=1680739200&v=beta&t=Y2Ez8U4NpvWwmkBa_w46mpxDxgoHSnbu5ggUgJk-W70
'GTS引擎 - GTS Engine: A powerful NLU Training System。GTS引擎（GTS-Engine）是一款开箱即用且性能强大的自然语言理解引擎，聚焦于小样本任务，能够仅用小样本就能自动化生产NLP模型。' IDEA-CCNL GitHub: github.com/IDEA-CCNL/GTS-Engine
【用 NumPy 60行代码实现GPT】《GPT in 60 Lines of NumPy | Jay Mody》 https://jaykmody.com/blog/gpt-from-scratch
【为什么 GPT-3 的所有公开复现都失败了? 应该在哪些任务中使用 GPT-3.5/ChatGPT？】《Why did all of the public reproduction of GPT-3 fail? In which tasks should we use GPT-3.5/ChatGPT?》 https://jingfengyang.github.io/gpt
斯坦福大学对ChatGPT的介绍PPT，82页满满的干货 https://web.stanford.edu/class/cs224n/slides/cs224n-2023-lecture11-prompting-rlhf.pdf
【FlexGen：在单个 GPU 上运行像 OPT-175B/GPT-3 这样的大型语言模型，比其他基于 offloading 的系统快100倍】’FlexGen - Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems.' Foundation Model Inference GitHub: github.com/FMInference/FlexGen
【nanoChatGPT：支持 RLHF 的 nanoGPT】’nanoChatGPT - A crude RLHF layer on top of nanoGPT with Gumbel-Softmax trick' sanjeevanahilan GitHub: github.com/sanjeevanahilan/nanoChatGPT
- ChatGPT (GPT 3.5): 175B Parameters
- Bard (Google LaMDA): 137B Parameters
- Baidu Ernie: 260B Parameters
- LG Exaone: 300B Parameters
- Nvidia Megatron: 530B Parameters
- Google PaLM: 540B Parameters via:Rowan Cheung
【ChatLLaMA：集成 RLHF 的 LLaMA 开源实现，声称训练比 ChatGPT 快15倍】’ChatLLaMA - Open source implementation for LLaMA-based ChatGPT training process. Faster and cheaper training than ChatGPT (wip)' by Nebuly GitHub: github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama
【WizMap：在浏览器里通过交互可视化探索和解释大规模嵌入(向量化)】’WizMap - Explore and interpret large embeddings in your browser with interactive visualization!' Polo Club of Data Science GitHub: github.com/poloclub/wizmap
'BiliGPT 哔哩哔哩 · 视频内容一键总结' JimmyLv GitHub: github.com/JimmyLv/BiliGPT
'ChatGPT-WEB - chatGPT私有化部署' MicLon GitHub: github.com/mic1on/chatGPT-web
ChatGPT：潜力、前景和局限｜复旦清华周杰、黄民烈、张军平等 https://mp.weixin.qq.com/s/hOreVmWhVrRSIKve8imV1A
【ChatLLaMA：基于 LLaMA 的开源 ChatGPT，训练 比 ChatGPT 快15倍】’ChatLLaMA - Open source implementation for LLaMA-based ChatGPT runnable in a single GPU. 15x faster training process than ChatGPT' Juncong Moo GitHub: github.com/juncongmoo/chatllama
如果你不知道能拿 ChatGPT 或者其他 AI 产品来干什么； 如果你不知道如何更好地使用 OpenAI 提供的 API； 那本教程应该能帮到你。这是一份教你如何更好使好地使用 ChatGPT 和其他 AI 产品的免费教程。 github.com/thinkingjimmy/Learning-Prompt 比如最新的章节《搭建基于知识库内容的机器人》就很实用。
如果你需要开源的ChatGPT文档检索回复的代码实现，可以参考 gpt3.5-turbo-pgvector 这个项目： 🔗 github.com/gannonh/gpt3.5-turbo-pgvector
本文希望用尽可能少的内容，讲清楚开发一个OpenAI/GPT应用必然用到的知识。https:///github.com/easychen/openai-gpt-dev-notes-for-cn-developer
【ChatGPT-Vercel：基于 OpenAI API 用 Vervel 部署自己的 ChatGPT】’ChatGPT-Vercel - Powered by OpenAI API (gpt-3.5-turbo) and Vercel' Ou GitHub: github.com/ourongxing/chatgpt-vercel
'LawGPT_zh：中文法律大模型（獬豸） - 中文法律对话语言模型' hongchengliu GitHub: github.com/LiuHC0428/LAW-GPT
提出一个可以考虑视觉上下文的对话生成模型 CHAMPAGNE，用所收集的 1800 万视频对话构建了大规模的对话数据集 YTD-18M，实验结果表明该模型在各种真实对话任务中表现出强大性能。 https://arxiv.org/abs/2303.09713
文档Embedding问答类网站已经卷的不行了，刚看到一个做的非常不错的产品叫Chatbase，它不仅支持pdf，还支持文本、网页等各种数据，然后每一个数据可以有一个单独的url，你可以分享出去让其他人一起用，并且别人不需要登录就可以使用。 chatbase.co
'AI-Products-All-In-One - 实用 ChatGPT 与生成式 AI 工具集锦’ TheExplainthis GitHub: github.com/TheExplainthis/AI-Products-All-In-One
'fastLLaMa - Python wrapper to run Inference of LLaMA models using C++' PotatoSpudowski GitHub: github.com/PotatoSpudowski/fastLLaMa
'alpaca-chinese-dataset - alpaca中文指令微调数据集' carbonz GitHub: github.com/carbonz0/alpaca-chinese-dataset
【MLE-LLaMA: 多语言增强的 LLaMA 项目，旨在让 LLaMa 理解中文，并能生成流畅的中文】'MLE-LLaMA: Multi-Language Enhanced LLaMA' feizc GitHub: github.com/feizc/MLE-LLaMA
'Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alapaca' Facico GitHub: github.com/Facico/Chinese-Vicuna
【xturing：一个Python软件包，用于高效、快速、简单地微调LLM模型，支持LLaMA、GPT-J、GPT-2等多种模型，可使用单GPU和多GPU训练，使用LoRA等高效微调技术可将硬件成本降低高达90%，并在短时间内完成模型训练】'xturing - Build and control your own LLMs' Stochastic GitHub: github.com/stochasticai/xturing
'ChatGLM-6B-Slim：裁减掉20K图片Token的ChatGLM-6B，完全一样的性能，占用更小的显存' Silver GitHub: github.com/silverriver/ChatGLM-6B-Slim
【Efficient Alpaca：基于LLaMA实现的开源项目，旨在通过微调 LLaMA-7B模型在资源消耗更少、推理速度更快、更适合研究者使用方面提高Stanford Alpaca的性能】'Efficient Alpaca - The aim of this repository is to utilize LLaMA to reproduce and enhance the Stanford Alpaca' dropreg GitHub: github.com/dropreg/efficient_alpaca
GitHub 上的开源项目：ChatGPT Next Web，支持一键免费部署你的私人 ChatGPT 网页应用。 主要功能如下：
- 在 1 分钟内使用 Vercel 免费一键部署；
- 精心设计的 UI，响应式设计，支持深色模式；
- 极快的首屏加载速度（~85kb）；
- 自动压缩上下文聊天记录，在节省 Token 的同时支持超长对话；
- 一键导出聊天记录，完整的 Markdown 支持；
- 可绑定自己的域名。 GitHub：github.com/Yidadaa/ChatGPT-Next-Web
'InstructGLM - ChatGLM-6B 指令学习|指令数据|Instruct' yanqiangmiffy GitHub: github.com/yanqiangmiffy/InstructGLM
'Chinese-ChatLLaMA - 中文LLaMA基础模型；中文ChatLLaMA对话模型；预训练/指令微调数据集，基于 TencentPretrain 多模态预训练框架构建，支持简繁体中文、英文、日文等多语言’ Li Yudong GitHub: github.com/ydli-ai/Chinese-ChatLLaMA
'Chinese-LLaMA-Alpaca - 中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs) - 开源了经过中文文本数据预训练的中文LLaMA大模型；开源了进一步经过指令精调的中文Alpaca大模型；快速地使用笔记本电脑（个人PC）本地部署和体验量化版大模型’ Yiming Cui GitHub: github.com/ymcui/Chinese-LLaMA-Alpaca
【ChatGLM-MNN：将模型ChatGLM-6B转换到MNN并使用C++进行推理】'ChatGLM-MNN - Pure C++, Easy Deploy ChatGLM-6B.' wangzhaode GitHub: github.com/wangzhaode/ChatGLM-MNN
【GPT4All：基于大量干净的助手数据(包括代码、故事和对话)训练的聊天机器人，数据包括~800k条GPT-3.5-Turbo生成数据，模型基于LLaMa】’GPT4All - gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue, Demo, data and code to train an assistant-style large language model with ~800k GPT-3.5-Turbo Generations based on LLaMa’ Nomic AI GitHub: github.com/nomic-ai/gpt4all
作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 也建立了一整套完整的 RLHF 流程，包括：监督数据集收集 -> 监督微调 -> 奖励模型训练 -> 强化学习微调。 并且，技术团队以 LLaMA 为基础预训练模型，正式推出了 ColossalChat，这也是目前最接近 ChatGPT 原始技术方案的实用开源项目。 GitHub：github.com/hpcaitech/ColossalAI 该项目包括但不限于以下功能：
- Demo：可直接在线体验模型效果，无需注册或 waitinglist；
- 训练代码：开源完整 RLHF 训练代码，已开源至含 7B 和 13B 两种模型；
- 数据集：开源 104K 中、英双语数据集；
- 推理部署：4bit 量化推理 70 亿参数模型仅需 4GB 显存；
- 模型权重：仅需单台服务器少量算力即可快速复现；
- 更大规模模型、数据集、其他优化等将保持高速迭代添加。 目前，相关代码已开源至 GitHub，感兴趣的同学可以看下。 项目还有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发。
【CachedEmbedding：基于ColossalAI的软件缓存方法来动态管理 CPU 和 GPU 内存空间中极大嵌入表的 PyTorch EmbeddingBag 的扩展，可以在单个 GPU 上为 Criteo 1TB 数据集训练包括 91.10 GB 嵌入表的 DLRM 模型，只分配 3.75 GB 的CUDA 内存】’CachedEmbedding - A memory efficient DLRM training solution using ColossalAI' HPC-AI Tech GitHub: github.com/hpcaitech/CachedEmbedding
【Traditional-Chinese Alpaca：繁体中文微调版Alpaca】’Traditional-Chinese Alpaca - A Traditional-Chinese instruction-following model with datasets based on Alpaca.' NTU NLP Lab GitHub: github.com/ntunlplab/traditional-chinese-alpaca
【gpt4all.cpp：一个用于生成自然语言文本的C++库，基于LLaMA和Stanford Alpaca，但资源开销很小，可以在本地消费级GPU上运行】'gpt4all.cpp - Locally run an Assistant-Tuned Chat-Style LLM' Zach Nussbaum GitHub: github.com/zanussbaum/gpt4all.cpp
【法律NLP相关资源大列表】'Legal Natural Language Processing - A curated list of LegalNLP resources from all around the web.' Maastricht Law & Tech Lab GitHub: github.com/maastrichtlawtech/awesome-legal-nlp
【Llama-X：开源的学术研究项目，通过社区共同努力，逐步将LLaMA的性能提高到SOTA LLM水平，节省重复工作，共同创造更多、更快的增量】'Llama-X - Open Academic Research on Improving LLaMA to SOTA LLM' AetherCortex GitHub: github.com/AetherCortex/Llama-X
'闻达：大型语言模型调用平台。目前支持chatGLM-6B、chatRWKV、chatYuan和chatGLM-6B模型下的chatPDF（自建知识库查找）' l15y GitHub: github.com/l15y/wenda
'Python Bindings for llama.cpp' Andrei GitHub: github.com/abetlen/llama-cpp-python
'基于本地知识的 ChatGLM 应用实现 - 利用 ChatGLM-6B + langchain 实现的基于本地知识的 ChatGLM 应用 langchain-ChatGLM, local knowledge based ChatGLM with langchain' imClumsyPanda GitHub: github.com/imClumsyPanda/langchain-ChatGLM
简单的文本向量化工具 如果需要实现相似检索，又不想使用OpenAI的Embedding API，可以考虑使用Text2Vec，这是一个开源的文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。 🔗 github.com/shibing624/text2vec
一个针对本地LLM模型Alpaca 微博正文 开发的类ChatGPT的网站服务，可以运行在Docker上 前端界面是SvelteKit 数据库是MongoDB，可以存储所有的聊天记录 支持的模型有：
- 7B参数，需要大约 4.5GB 的内存
- 7B-native
- 13B，需要大约 12GB 的内存
- 30B，需要大约 20GB 的内存 🔗 github.com/nsarrazin/serge
'计图大模型推理库 - 笔记本没有显卡也能跑大模型，具有高性能、配置要求低、中文支持好、可移植等特点' Jittor GitHub: github.com/Jittor/JittorLLMs
【openplayground：可以在笔记本电脑运行的LLM试炼场，可以用来自包括OpenAI、Anthropic、Cohere、Forefront、HuggingFace、Aleph Alpha和llama.cpp等众多机构的任意模型】'openplayground - An LLM playground you can run on your laptop' Nat Friedman GitHub: github.com/nat/openplayground
'LLMPruner：大语言模型裁剪工具' by Yang JianXin GitHub: github.com/yangjianxin1/LLMPruner
'DoctorGLM - 基于ChatGLM-6B的中文问诊模型' xionghonglin GitHub: github.com/xionghonglin/DoctorGLM
'LLaMA Docker Playground - Quick Start LLaMA models with multiple methods, and fine-tune 7B/65B with One-Click.' Su Yang GitHub: github.com/soulteary/llama-docker-playground
'Firefly(流萤): 中文对话式大语言模型，使用指令微调（Instruction Tuning）在中文数据集上进行调优' Yang JianXin GitHub: github.com/yangjianxin1/Firefly
【Tabby：自托管AI编程助手，开源/本地部署，对标GitHub Copilot，无需云服务或数据库，支持GPU，带Web界面和OpenAPI接口】'Tabby - Self-hosted AI coding assistant' TabbyML GitHub: github.com/TabbyML/tabby
chatgpt-enhancement-extension 一个可以帮助你把PDF转换成Markdown，然后拆分成大小合适的小段落，这样可以提交ChatGPT跟PDF对话。 🔗 github.com/sailist/chatgpt-enhancement-extension
'ChatGPT 在线体验网站收集列表 - 搜集国内可用的 ChatGPT 在线体验免费网站列表' lzwme GitHub: github.com/lzwme/chatgpt-sites
【基于Llama Index + OpenAI API的术语表自动提取】“Llama Index Term Definition Demo - a Hugging Face Space by llamaindex” https://huggingface.co/spaces/llamaindex/llama_index_term_definition_demo
李老师400+页的ChatGPT全面介绍PPT http://lipiji.com/slides/ChatGPT_ppf.pdf
【TurboPilot：本地部署的基于llama.cpp大模型的编程助手】’TurboPilot - a self-hosted copilot clone which uses the library behind llama.cpp to run the 6 Billion Parameter Salesforce Codegen model in 4GiB of RAM’ by James Ravenscroft GitHub: github.com/ravenscroftj/turbopilot
【TuneLite：用来微调大模型的轻量工具包】'TuneLite - A Light Toolkit to Finetune Large Models.' OpenLMLab GitHub: github.com/OpenLMLab/TuneLite
DeepSpeed Chat 微软开源的DeepSpeed项目，帮助你训练你自己的ChatGPT模型 🔗 github.com/microsoft/DeepSpeed https://mp.weixin.qq.com/s/HhIGAojnZVSu4vMBpMP4yA
中文版羊驼LLaMA & Alpaca大模型 以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。 为了促进大模型在中文NLP社区的开放研究，本项目开源了中文LLaMA模型和经过指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，在中文LLaMA的基础上，本项目使用了中文指令数据进行指令精调，显著提升了模型对指令的理解和执行能力。 🚀 针对原版LLaMA模型扩充了中文词表，提升了中文编解码效率 🚀 开源了使用中文文本数据预训练的中文LLaMA大模型（7B、13B） 🚀 开源了进一步经过指令精调的中文Alpaca大模型（7B、13B） 🚀 快速使用笔记本电脑（个人PC）的CPU本地部署和体验量化版大模型 💡 下图给出了7B版本模型本地化部署后的实际体验效果（动画未经加速，Apple M1 Max下实测）。 🔗 github.com/ymcui/Chinese-LLaMA-Alpaca
'华驼(HuaTuo): 基于中文医学知识的LLaMA微调模型 - Repo for HuaTuo (华驼), Llama-7B tuned with Chinese medical knowledge' Health Intelligence Group of HIT-SCIR GitHub: github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
'LangChain-ChatGLM-Webui - 基于LangChain和ChatGLM-6B的针对本地知识库的自动问答' thomas-yanxin GitHub: github.com/thomas-yanxin/LangChain-ChatGLM-Webui
【LangChain UI：开箱即用的LangChain聊天界面】’LangChain UI - The open source chat-ai toolkit' Ismail Pelaseyed GitHub: github.com/homanp/langchain-ui
【LangChain使用速查】’LangChain CheatSheet' Tor101 GitHub: github.com/Tor101/LangChain-CheatSheet
'LangChain中文入门教程' liaokongVFX GitHub: github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide
【RedPajama-Data: 重制LLaMA训练数据集的开源方案】’RedPajama-Data: An Open Source Recipe to Reproduce LLaMA training dataset - The RedPajama-Data repository contains code for preparing large datasets for training large language models.' Together GitHub: github.com/togethercomputer/RedPajama-Data
【StableLM: Stability AI最新开源的大语言模型，目前开放的是3B和7B的版本，后续会开放更大规模的模型，可商用】’StableLM: Stability AI Language Models - StableLM: Stability AI Language Models' Stability-AI GitHub: github.com/Stability-AI/StableLM
'ChatGLM Efficient Tuning - Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调' hoshi-hiyouga GitHub: github.com/hiyouga/ChatGLM-Efficient-Tuning
【如何训练自己的大型语言模型】《Replit - How to train your own Large Language Models》 https://blog.replit.com/llm-training
semantra 这是一个本地基于向量的本地文档检索工具，事先将文档向量化，然后可以利用自然语言检索。 注意它只有自然语言检索，并不支持文档对话，按照作者的话说是他不想让GPT去解释而让结果可能不准确，验证的责任应该在用户自己身上。 补充说明一下：Semantra使用的默认模型是可以离线运行的，使用的时候不需要API密钥或互联网接入。OpenAI只是其中一个选项。 更多说明参考文档：🔗github.com/freedmand/semantra/blob/main/docs/guide_models.md🔗 🔗github.com/freedmand/semantra
【Delphic：基于lamaIndex, Langchain, OpenAI等构建和部署大型语言模型(LLM)智能体的简单框架，可用于分析和操作文档中的文本数据，比如文档问答】’Delphic - Starter App to Build Your Own App to Query Doc Collections with Large Language Models (LLMs) using LlamaIndex, Langchain, OpenAI and more (MIT Licensed)' JSv4 GitHub: github.com/JSv4/Delphic
【LaMini-LM: 从 ChatGPT 蒸馏的小型、高效的语言模型集合，在2.58 M 指令大规模数据集上进行训练】'LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions - LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions' MBZUAI NLP department GitHub: github.com/mbzuai-nlp/LaMini-LM
《Harnessing the Power of LLMs in Practice》https://arxiv.org/abs/2304.13712 这篇论文来自Amazon 和 Texas A&M University ，他们整理了一个大语言模型的进化树，从Transformer分出来的三个分支：Encoder Only，Encode-Decoder，Decoder Only，最后以ChatGPT为代表的Decoder Only做成了，而以Google BERT为代表的Encoder Only全部被淘汰了。
Dogpt：AgentGPT无需API的fork版本 https://www.dogpt.ai/
【Open-Chinese-LLaMA：基于 LLaMA-7B 经过 中文数据集增量预训练 产生的 中文大语言模型基座】'Open-Chinese-LLaMA - Chinese large language model base generated through incremental pre-training on Chinese datasets' OpenLMLab GitHub: github.com/OpenLMLab/OpenChineseLLaMA
'MedicalGPT-zh：中文医疗通用语言模型，基于28个科室的医疗共识与临床指南文本，提高模型的医疗领域知识与对话能力' MediaBrain-SJTU GitHub: github.com/MediaBrain-SJTU/MedicalGPT-zh
【LLaMA 模型简史：LLaMA是Meta发布的语言模型，采用Transformer架构，有多个版本，最大为65B参数。与GPT类似，可用于进一步微调，适用于多种任务。与GPT不同的是，LLaMA是开源的，可以在本地运行。现有的LLaMA模型包括：Alpaca、Vicuna、Koala、GPT4-x-Alpaca和WizardLM。每个模型都有不同的训练数据和性能表现】《A brief history of LLaMA models - AGI Sphere》 https://agi-sphere.com/llama-models/
【GAOKAO-bench：以中国高考题目作为数据集，评估大语言模型的语言理解能力和逻辑推理能力的测评框架，包含1781道选择题、218道填空题和812道解答题】'GAOKAO-bench - GAOKAO-bench is an evaluation framework that utilizes GAOKAO questions as a dataset to evaluate large language models.' OpenLMLab GitHub: github.com/OpenLMLab/GAOKAO-Bench
【string2string：一个开源工具，提供一套高效的算法，用于解决字符串对字符串的问题。它包括传统的算法解决方案和最新的先进神经方法，用于解决各种问题，例如配对字符串对齐，距离测量，词汇和语义搜索以及相似性分析】'string2string - String-to-String Algorithms for Natural Language Processing' Stanford NLP GitHub: github.com/stanfordnlp/string2string
【MLC LLM：允许开发人员在不同设备上本地开发、优化和部署AI模型的通用解决方案，支持Metal GPU、AMD/NVIDIA GPU和WebGPU】'MLC LLM - Enable everyone to develop, optimize and deploy AI models natively on everyone's devices.' mlc-ai GitHub: github.com/mlc-ai/mlc-llm
【Lamini：让开发人员在大规模数据集上训练高性能语言模型，无需成为机器学习专家，通过Lamini，可以轻松创建类似于ChatGPT的语言模型】《Introducing Lamini, the LLM Engine for Rapid Customization》 github.com/lamini-ai/lamini
【基于LoRA的LLM参数高效微调】《Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA)》 https://sebastianraschka.com/blog/2023/llm-finetuning-lora.html
MosaicML（一家专门做模型训练和微调的公司）发布一系列新的LLM模型。这次发布的两个亮点： 1.模型增加了一个微调出来的story writer（讲故事）模型，这个可以用于文学创作，儿童教育 2.公开了训练各个模型的金钱开支 基座模型：MPT-7B 指令微调模型：MPT-7B-Instruct 对话微调模型：MPT-7B-Chat 讲故事微调模型：MPT-StoryWriter-65K 其中讲故事微调支持最高65K的上下文输入，比GPT-4还要高2倍！这个真的太强了，不知道实际效果如何。不过这开启了一个思考，如果我们专门训练一个中文的讲故事模型呢？ 地址： blog: mosaicml.com/blog/mpt-7b models: huggingface.co/mosaicml chat demo: huggingface.co/spaces/mosaicml/mpt-7b-chat instruct demo: huggingface.co/spaces/mosaicm
【llm：可以在CPU上用Rust运行大型语言模型的推理。Rust可以实现快速的运行速度，相比于GPU更加节能】'llm - Run inference for Large Language Models on CPU, with Rust' Rustformers GitHub: github.com/rustformers/llm
【InferLLM：非常轻量的 LLM 模型推理框架，可以本地部署 LLM 中的量化模型，推理速度还不错。框架特点包括结构简单，运行高效，定义了专门的 KVstorage 类型，可以兼容多种模型格式，目前只支持 CPU，主要是 Arm 和 x86 平台】’InferLLM - a lightweight LLM model inference framework' MegEngine GitHub: github.com/MegEngine/InferLLM
【privateGPT：基于GPT4All-J的私有化部署文档问答平台，无需联网，能100%保证用户的隐私不泄露。提供了一个API，用户可以使用自己的文档进行交互式问答和生成文本。此外，平台支持自定义训练数据和模型参数，以满足个性化需求】'privateGPT - Interact privately with your documents using the power of GPT, 100% privately, no data leaks' Iván Martínez GitHub: github.com/imartinez/privateGPT
【Langcorn：用 LangChain + FastApi 部署自动化LLM应用，以便将 LangChain 应用作为 API 提供服务】’Langcorn - Serving LangChain apps automagically with FastApi' Alexander Miasoiedov GitHub: github.com/msoedov/langcorn
《ChatGPT 背后的语言模型简史》 https://www.bmpi.dev/dev/deep-learning/nlp-language-models/ 内容覆盖自然语言处理、神经网络、深度学习、生成式预训练等技术发展历史，值得一读。
Embedding和Fine-Tuning的区别 微调就是在大模型的数据基础上做二次训练，事先准备好一批prompt-complition（类似于问答Q&A）的数据，生成新的模型，这个模型将会包含微调后的数据。 而嵌入则是每次向ChatGPT发送消息（prompt）的时候，把你自己数据结果带上 github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb
【DB-GPT：基于vicuna-13b和FastChat的开源实验项目，采用了langchain和llama-index技术进行上下文学习和问答。项目完全本地化部署，保证数据的隐私安全，能直接连接到私有数据库处理私有数据。其功能包括SQL生成、SQL诊断、数据库知识问答等】'DB-GPT - A Open Database-GPT Experiment, which based on vicuna-13b and fastchat, meanwhile it use langchain and llama-index for in-context learning and QA' magic.chen GitHub: github.com/csunny/DB-GPT
如何借助大语言模型对一本长篇小说生成摘要？ 这部视频介绍了几种常用的对文本生成摘要的方法，其中最值得学习的是对长篇小说的总结方法，因为他示例的完整的小说内容一共有13万tokens，GPT4-32K也只能到3万多tokens，另外价钱也不会便宜，至少要5美元起。 所以他先对小说内容拆分，拆成78个小文档，然后对这些小文档借助Embedding转成向量，再对向量进行聚集，把相似的小文档放在一起。聚集算法用的是K-means，并且按照他的实验，11个聚集相对是一个效果比较好的数字。 另外他还做了一件很酷的事情就是把OpenAI的1536维向量数字变成了2维的数字，然后78个文档的向量二维化后，变成了二维坐标上的点，再按照各自所属的聚集标注出颜色，就可以清楚的看到文档的位置和相互关系，效果很酷。 接着在每一个聚集中，按照向量值找出离质心位置最近的文档作为代表，并按照编号排序，这样可以确保摘要时顺序是对的。 然后把这11个小文档放在一起分别用GPT3.5生成摘要，最后得到了一个4K tokens的摘要数组，最后把摘要数组拼一起给GPT-4生成最终摘要，最终摘要效果还不错。 www.youtube.com/watch?v=qaPMdcCqtWk
privateGPT 基于私有LLM（大语言模型）做个人的文档问答，不必担心隐私泄露 技术栈是 LangChain 和 GPT4All
- LLM默认用的 ggml-model-q4_0.bin.
- Embedding默认用的是 ggml-model-q4_0.bin 当然你可以自己替换，不过对中文支持应该不会太好。 🔗github.com/imartinez/privateGPT
'大语言模型（LLM）微调技术笔记' by Tao Yang GitHub: github.com/ninehills/blog/issues/92
【BiLLa: 开源的中英双语LLaMA模型，具有增强的推理能力。通过扩充中文词表和利用任务型数据进行训练，提升了中文理解和推理能力。在评测中，BiLLa在中英语言建模和推理任务上表现出色，优于其他模型，并与ChatGLM-6B相比在解题和代码得分方面更高。开发者可以使用BiLLa-7B-LLM和BiLLa-7B-SFT模型，并可通过提供的工具进行模型权重的还原和使用。评测结果显示，BiLLa在语言建模和各种问题类型上取得了良好的性能】'BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability' by Zhongli Li GitHub: github.com/Neutralzz/BiLLa
【关于如何在6GB显卡上运行LLama 13B模型的教程，包括从git克隆llama.cpp，安装CUDA，设置micromamba环境，安装必要的包，执行转换过程，并生成一个提示文件等步骤。该过程在6GB显卡上大约使用了5.5GB的显存。如果显存更大，可以将-ngl 18增加到-ngl 24甚至全部40层llama 13B模型，这样运行速度会更快】《How to run Llama 13B with a 6GB graphics card》 GitHub: gist.github.com/rain-1/8cc12b4b334052a21af8029aa9c4fafc
Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》，介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：www.youtube.com/watch?v=zizonToFXDs
Poe正式向所有开发者推出Poe API。Poe的初衷一直是提供技术，以便广泛获取基于LLM的服务，就像网络浏览器使得大众可以广泛获取互联网服务一样，期待一个多样化的基于LLM的服务生态系统的出现，其中包括诸如辅导、语言学习、角色扮演、心理支持、社交、游戏、指导等应用。现在，Poe鼓励所有开发者在Poe上构建机器人，包括Anthropic和OpenAI的客户，他们正在其模型之上构建更复杂的产品，其他正在训练自己语言模型的AI公司，或者使用来自其他来源的LLM的任何人。我们为开发者提供了一种简单的协议来与机器人通信，该协议通过HTTP运行。在Poe上构建AI应用的好处包括：向已经使用Poe的数百万用户分发，跨所有平台(Android版即将发布)的原生应用，以提供最佳的用户体验，持久的历史记录，跨平台同步等 GitHub(Tutorial for Poe API bots): github.com/poe-platform/api-bot-tutorial
https://blog.csdn.net/u010280923/article/details/130555437
【Alpaca-LoRA：用LoRA在消费级硬件上复现斯坦福Alpaca的结果】’Alpaca-LoRA - Code for reproducing the Stanford Alpaca InstructLLaMA result on consumer hardware' official-elinas GitHub: github.com/official-elinas/alpaca-lora-optimized
【doc-chatbot: GPT-4 + Pinecone + LangChain + MongoDB实现的文档聊天机器人，可多文件、多话题和多窗口聊天，聊天历史由MongoDB保存】’doc-chatbot: GPT-4 x Pinecone x LangChain x MongoDB - Document chatbot — multiple files, topics, chat windows and chat history. Powered by GPT.' Erik Závodský GitHub: github.com/dissorial/doc-chatbot
【BriefGPT：本地化文档摘要和查询工具，强大、保障隐私。新支持完全本地使用，随时随地解锁知识】'BriefGPT - Locally hosted tool that connects documents to LLMs for summarization and querying, with a simple GUI.' e-Ethan GitHub: github.com/e-johnstonn/BriefGPT
【Constrained Value-Aligned LLM via Safe RLHF：安全强化学习人工反馈框架Beaver，保障AI对人类价值观的精准对齐。首个结合安全偏好的RLHF框架，支持多模型训练，数据可复现】'Constrained Value-Aligned LLM via Safe RLHF - Safe-RLHF: Constrained Value Alignment via Safe Reinforcement Learning from Human Feedback' PKU-Alignment GitHub: github.com/PKU-Alignment/safe-rlhf
【Chat2Plot：交互式且安全的文本到可视化库，使用LLM来生成可视化图表、高级图表规格(以json格式，可以选择简单格式或vega-lite格式)以及对给定数据的自然语言请求的解释。Chat2Plot并不会从LLM生成可执行的代码或SQL，因此可以安全地生成可视化图表】’Chat2Plot - interactive & safe text-to-visualization with LLM - chat to visualization with LLM' nyanp GitHub: github.com/nyanp/chat2plot
【open-Chinese-ChatLLaMA：一个开源项目，提供了一整套用于构建大型语言模型的训练流程及代码，从数据集准备到分词、预训练、指令调优，以及强化学习技术 RLHF】'open-Chinese-ChatLLaMA - The complete training code of the open-source Chinese-Llama model, including the full process from pre-training instructing and RLHF.' chenfeng357 GitHub: github.com/chenfeng357/open-Chinese-ChatLLaMA
【Redis-LLM-Document-Chat：用LlamaIndex、Redis和OpenAI与PDF文档进行交互，包含一个Jupyter笔记本，演示了如何使用Redis作为向量数据库来存储和检索文档向量，还展示了如何使用LlamaIndex在文档中执行语义搜索，以及如何利用OpenAI提供类似聊天机器人的体验】'Redis-LLM-Document-Chat - Using LlamaIndex, Redis, and OpenAI to chat with PDF documents. Supplementary material for blog post (link to come)' Redis Ventures GitHub: github.com/RedisVentures/LLM-Document-Chat
【Scikit-LLM: 用于增强文本分析任务的工具，可以无缝地将ChatGPT等强大的语言模型集成到Scikit-Learn中。提供了ZeroShotGPTClassifier类和MultiLabelZeroShotGPTClassifier类，用于进行零样本文本分类和多标签零样本文本分类。此外，还有GPTVectorizer类用于将文本转化为固定维数的向量表示。用户可以通过提供候选标签进行训练，而无需具体标记的训练数据】'Scikit-LLM: Sklearn Meets Large Language Models - Seamlessly integrate powerful language models like ChatGPT into scikit-learn for enhanced text analysis tasks.' Iryna Kondrashchenko GitHub: github.com/iryna-kondr/scikit-llm
《QLoRA: Efficient Finetuning of Quantized LLMs》提出了一种4位参数的优化方案，可以大幅降低内存使用量，可以在一块48GB的GPU上微调一个拥有650亿参数的模型，同时还能保持完全的16位微调任务性能。 github.com/artidoro/qlora https://arxiv.org/abs/2305.14314
fastcws：轻量级高性能中文分词项目，冷启动加上分词 18 万字只用了 0.35s 地址：github.com/fastcws/fastcws
'GPTLink - 10分钟搭建自己可免费商用的ChatGPT环境，搭建简单，包含用户，订单，任务，付费等功能' GPTLink GitHub: github.com/gptlink/gptlink
'Lawyer LLaMA - 中文法律LLaMA' Quzhe Huang GitHub: github.com/AndrewZhe/lawyer-llama
【LexiLaw - 中文法律大模型，旨在提供专业的中文法律咨询服务，并分享在大模型在垂直领域微调的经验，以帮助社区开发更多优质的专用领域的大模型】’LexiLaw - 中文法律大模型' Haitao Li GitHub: github.com/CSHaitao/LexiLaw
【Chainlit：一个Python应用开发框架，可以在几分钟内构建类似ChatGPT的用户界面。提供了中间步骤可视化、元素管理和显示(图像、文本、轮播等)以及云部署等关键功能】'Chainlit - Build Python LLM apps in minutes' Chainlit GitHub: github.com/Chainlit/chainlit
这个“大师，我悟了。”的GPT prompt很好玩，你问GPT一个问题，可以让它模拟释迦摩尼、老子、王阳明、萨古鲁、苏格拉底这五位大师的角色，每个人各输出 1 组回答。 用法很简单，复制Repo上的Prompt就可以使用。 项目地址：github.com/Illumine-Labs/GreatMaster
【localGPT：通过使用GPT模型在本地设备上与文档进行问答交流的方式，实现100％私密且不离开设备的聊天。该项目受到了之前privateGPT的启发，使用Vicuna-7B模型替换了GPT4ALL模型，并使用InstructorEmbeddings代替原始privateGPT中使用的LlamaEmbeddings。无论是Embeddings还是LLM都将在GPU上运行，并提供了CPU支持。可以在没有互联网连接的情况下向您的文档提问，并利用LLM的强大功能】'localGPT - Chat with your documents on your local device using GPT models. No data leaves your device and 100% private.' PromptEngineer GitHub: github.com/PromtEngineer/localGPT
【LLaMA Efficient Tuning：用于大型语言模型的高效微调框架】'LLaMA Efficient Tuning - Fine-tuning LLaMA with PEFT (PT+SFT+RLHF)' hoshi-hiyouga GitHub: github.com/hiyouga/LLaMA-Efficient-Tuning
'ChatGLM_multi_gpu_zero_Tuning - deepspeed+trainer简单高效实现多卡微调大模型，目前已实现LoRA, Ptuning-v2, Freeze三种微调方式’ Haitao Li GitHub: github.com/CSHaitao/ChatGLM_mutli_gpu_tuning
【免费书：《LangChain和LlamaIndex项目实践手册：将大型语言模型应用于现实世界》，一本介绍如何利用LangChain和LlamaIndex项目以及OpenAI GPT-3和ChatGPT API解决一系列有趣问题的书。LangChain是一个用于构建大型语言模型应用程序的框架，LlamaIndex是一个用于搜索本地文档的工具。该书涵盖了安装和使用LangChain和LlamaIndex的基本要求，以及使用Google Knowledge Graph API、使用Hugging Face开源模型、使用Zapier集成等方面的示例。它还提供了关于大型语言模型的概述和使用场景的讨论。该书的目标读者是希望构建自己的工具并提升程序设计能力的开发人员】《LangChain and LlamaIndex Projects Lab Book: Hooking Large Language Models Up to the Real World - Using GPT-3, ChatGPT, and Hugging Face Models in Applications》 https://leanpub.com/langchain/read
【Chinese-Guanaco: 中文低资源量化训练/部署方案，中文Guanaco(原驼)大语言模型 QLora 量化训练 +本地CPU/GPU部署】’Chinese-Guanaco: Efficient Finetuning of Quantized LLMs for Chinese —— 一个中文低资源的量化训练/部署方案 - 中文Guanaco(原驼)大语言模型 QLora 量化训练 +本地CPU/GPU部署 (Chinese Guanaco QLoRA: Efficient Finetuning of Quantized LLMs)' Robin GitHub: github.com/jianzhnie/Chinese-Guanaco
【ChatMed： 中文医疗大模型，基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集，赋能中医药传承】’ChatMed' by mz GitHub: github.com/michael-wzhu/ChatMed
【精选的多模态大型语言模型相关资源列表，包括数据集、多模态指令微调、多模态上下文学习、多模态思维链、基于语言模型辅助的视觉推理、基础模型等】'Awesome-Multimodal-Large-Language-Models - Latest Papers and Datasets on Multimodal Large Language Models' BradyFU GitHub: github.com/BradyFU/Awesome-Multimodal-Large-Language-Models
大模型微调究竟需要多少数据：从三个现有代表工作看几组结论及一点思考 https://mp.weixin.qq.com/s/c50HrOfKOqgqGPVRHf6EpA
【嵌入(embeddings)入门资料集】’What are embeddings? - A deep dive into embeddings starting from fundamentals' Vicki Boykis GitHub: github.com/veekaybee/what_are_embeddings
'轩辕：首个千亿级中文金融对话模型，针对中文金融领域优化的千亿级开源对话大模型，在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议’ Duxiaoman-DI GitHub: github.com/Duxiaoman-DI/XuanYuan
【非常全的LLM模型列表】《LLM Collection | Prompt Engineering Guide》 https://www.promptingguide.ai/models/collection
'MedQA-ChatGLM - 基于真实医疗对话数据在ChatGLM上进行LoRA、P-Tuning V2、Freeze、RLHF等微调' WangRongsheng GitHub: github.com/WangRongsheng/MedQA-ChatGLM
【ChatGPT-Midjourney：一键免费部署你的私人 ChatGPT+Midjourney 网页应用(基于ChatGPT-Next-Web开发)】’ChatGPT-Midjourney - One-Click to deploy well-designed ChatGPT+Midjourney web UI on Vercel.' Licoy GitHub: github.com/Licoy/ChatGPT-Midjourney
【Modelz LLM：推理服务器，可以在本地或云环境中利用开源大型语言模型(LLM)，如FastChat、LLaMA和ChatGLM，并提供OpenAI兼容的API。支持OpenAI的Python SDK和LangChain，可轻松部署并提供不同模型的Docker镜像。可以使用OpenAI的Python SDK进行交互，也可以与Langchain集成。还支持多种API，包括补全对话、嵌入和引擎等】'Modelz LLM - OpenAI compatible API for LLMs and embeddings (LLaMA, Vicuna, ChatGLM and many others)' TensorChord GitHub: github.com/tensorchord/modelz-llm
【simpleaichat：简化与聊天应用进行交互的Python包，具有强大的功能和最小的代码复杂性。该工具具有针对与ChatGPT和GPT-4快速、廉价交互进行优化的多种功能，提供了一些有趣且可定制的示例，同时支持异步操作和工具使用】'simpleaichat - Python package for easily interfacing with chat apps, with robust features and minimal code complexity.' Max Woolf GitHub: github.com/minimaxir/simpleaichat
【LLaMA-LoRA Tuner：轻松评估和优化LLaMA模型的工具。支持LoRA低秩自适应。在Google Colab上一键运行，提供类似Gradio ChatGPT的聊天界面展示语言模型】'LLaMA-LoRA Tuner - UI tool for fine-tuning and testing your own LoRA models base on LLaMA, GPT-J and more. One-click run on Google Colab. + A Gradio ChatGPT-like Chat UI to demonstrate your language models.' Pokai Chang GitHub: github.com/zetavg/LLaMA-LoRA-Tuner
baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。 github.com/baichuan-inc/baichuan-7B
地址：jiqihumanr.github.io/2023/04/13/gpt-from-scratch/ LLM大行其道，然而大多数GPT模型都像个黑盒子一般隐隐绰绰，甚至很多人都开始神秘化这个技术。译者觉得直接跳进数学原理和代码里看看真实发生了什么，才是最有效的理解某项技术的方法。 这篇文章细致的讲解了GPT模型的核心组成及原理，并且用Numpy手搓了一个完整的实现（可以跑的那种），读起来真的神清气爽。项目代码也完全开源，叫做picoGPT(pico，果然是不能再小的GPT了)。
【Local LLM Comparison & Colab Links：比较不同本地部署在消费级硬件上的LLM性能的项目，使用Colab WebUI自行运行】’Local LLM Comparison & Colab Links (WIP) - Compare the performance of different LLM that can be deployed locally on consumer hardware. Run yourself with Colab WebUI.' Troyanovsky GitHub: github.com/Troyanovsky/Local-LLM-comparison
'chatgpt-corpus - ChatGPT 中文语料库 对话语料 小说语料 客服语料 用于训练大模型' plex GitHub: github.com/PlexPt/chatgpt-corpus
【LlamaIndex入门课程资料】’LlamaIndex course for beginners - Learn to build and deploy AI apps.' SamurAIGPT GitHub: github.com/SamurAIGPT/LlamaIndex-course
'llm-action - LLM 实战' Jelly Lee GitHub: github.com/liguodongiot/llm-action
【SalesCopilot：智能销售助手，利用Deep Lake、Whisper、LangChain和GPT 3.5/4构建。提供实时转录、在线聊天、自动建议、知识库集成等功能】'SalesCopilot - Intelligent sales assistant built using Deep Lake, Whisper, LangChain, and GPT 3.5/4' Ethan GitHub: github.com/e-johnstonn/SalesCopilot
【OpenLLaMA-Chinese：免费的中文大型语言模型，基于OpenLLaMA，可用于非商业和商业目的。OpenLLaMA-Chinese是在RedPajama数据集上训练的Meta AI的LLaMA 7B和13B模型的开源实现。使用OpenLLaMA基础模型对中文和英文指令进行了微调，并公开了权重。使用了中文-LLaMA-Alpaca项目的alpaca_data_zh_51k.json进行中文微调，使用了StanfordAlpaca项目的alpaca_data.json进行英文微调】'OpenLLaMA-Chinese - OpenLLaMA-Chinese, a permissively licensed open source instruction-following models based on OpenLLaMA' FittenTech GitHub: github.com/FittenTech/OpenLLaMA-Chinese
【OpenLLM：轻松对大型语言模型进行微调、提供服务、部署和监控。构建强大的AI应用，支持各种开源模型】'OpenLLM - An open platform for operating large language models(LLMs) in production. Fine-tune, serve, deploy, and monitor any LLMs with ease.' BentoML GitHub: github.com/bentoml/OpenLLM
'fastllm - 纯c++的全平台llm加速库，无第三方依赖的大模型库，目前支持国产大模型ChatGLM-6B，MOSS；chatglm-6B级模型单卡可达10000+token / s；可以在安卓设备上流畅运行ChatGLM-6B；可以在支持CUDA的设备上加速计算' ztxz16 GitHub: github.com/ztxz16/fastllm
'Anima - 第一个开源的基于QLoRA的33B中文大语言模型First QLoRA based open source 33B Chinese LLM' Gavin Li GitHub: github.com/lyogavin/Anima
'Awesome-Chinese-LLM - 整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。' hqWu GitHub: github.com/HqWu-HITCS/Awesome-Chinese-LLM
【百聆(BayLing): 强化了语言对齐的指令跟随大规模语言模型，拥有增强的英语/中文生成、指令跟随和多轮交互能力。百聆可以部署在16GB显存的消费级GPU上，协助用户完成翻译、写作、创作、建议等任务】'BayLing: Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models - BayLing: Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models' ICTNLP GitHub: github.com/ictnlp/BayLing
“AtomGPT - 基于LLaMA的模型架构，从0开始训练，希望能在训练的过程中，将模型能力得到提升的进化过程展示出来，感受到模型学习的过程” AtomEcho GitHub: github.com/AtomEcho/AtomGPT
【LangPort：开源的大型语言模型服务平台，旨在构建超快的LLM推理服务。支持Huggingface transformers和多项特性】'LangPort - Langport is a language model inference service' Vtuber Plan GitHub: github.com/vtuber-plan/langport
'中文大语言模型评测第一期 - 涵盖了17个大类、453个问题，包括事实性问答、阅读理解、框架生成、段落重写、摘要、数学解题、推理、诗歌生成、编程等各个领域。 在这些问题上，为大模型的回答设置了5个评分项，分别是：正确性、流畅性、信息量、逻辑性和无害性。 在构造了评测目标的基础上，有多种方法可以对模型进行评测。包括分项评测、众包对比评测、公众对比评测、GPT 4自动分项评测、GPT 4 对比评测等方式’ llmeval GitHub: github.com/llmeval/llmeval-1
值得关注的中文模型：
- 商用请选择 Aquila 或者 baichuan（需申请）。
- 预训练模型推荐 baichuan-7B 或 Aquila-7B。
- 开箱即用的 Chat 模型，推荐 ChatGLM-6B、Aquila-Chat-7B、Ziya-LLaMA-13B-v1.1、WizardLM-30B-V1.0。
'LLMTuner: 大语言模型指令调优工具（支持全量参数微调、LoRA 和 QLoRA' WangZeJun GitHub: github.com/zejunwang1/LLMTuner
【MultiPDF Chat App：与多个PDF文档进行聊天，用自然语言提问，根据文档内容提供相关回答】'MultiPDF Chat App - A Langchain app that allows you to chat with multiple PDFs' Alejandro AO GitHub: github.com/alejandro-ao/ask-multiple-pdfs
pkuseg，准确率比jieba还高的分词工具库 https://zhuanlan.zhihu.com/p/394623408
【LangChain Cheatsheet：LangChain参考代码库】’LangChain Cheatsheet - Easy to use code snippets for LangChain' Joris de Jong GitHub: github.com/JorisdeJong123/LangChain-Cheatsheet
【LLaMA Server：将 LLaMA C++ 和 Chatbot UI 结合的 LLaMA 服务】’LLaMA Server - LLaMA Server combines the power of LLaMA C++ with the beauty of Chatbot UI.' Yi Su GitHub: github.com/nuance1979/llama-server
【ChatGPT PROMPTs Splitter：用来将长文本提示分割成小块的开源工具，适用于ChatGPT等有字符限制的语言模型，用来绕过限制】'ChatGPT PROMPTs Splitter - ChatGPT PROMPTs Splitter. Tool for safely process chunks of up to 15,000 characters per request' Jose Diaz GitHub: github.com/jupediaz/chatgpt-prompt-splitter
'Vicuna-LoRA-RLHF-PyTorch - A full pipeline to finetune Vicuna LLM with LoRA and RLHF on consumer hardware.' MK GitHub: github.com/jackaduma/Vicuna-LoRA-RLHF-PyTorch
【ChatGLM2-6B：开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，拥有更强大的性能、更长的上下文、更高效的推理和更开放的协议】'ChatGLM2-6B - ChatGLM2-6B: An Open Bilingual Chat LLM' THUDM GitHub: github.com/THUDM/ChatGLM2-6B
'中国大模型列表，旨在记录中国大模型发展情况’ wgwang GitHub: github.com/wgwang/LLMs-In-China
'扁鹊（BianQue） - 中文医疗对话模型' nlper GitHub: github.com/scutcyr/BianQue
'ChatLaw - 中文法律大模型' PKU-YuanGroup GitHub: github.com/PKU-YuanGroup/ChatLaw
【一图看懂：私有知识库上的LLM聊天机器人
1: 将整个知识库的文本语料分割成多个块 - 每个块表示一个可查询的上下文片段，知识数据可以来自多个源；
2: 用嵌入(Embedding)模型将每个块转换为一个向量；
3: 将所有向量存储在向量数据库；
4: 分别保存表示每个嵌入向量的文本，同时保存指向该向量的指针。
接下来，可以开始构建对感兴趣的问题/查询的答案：
5: 使用与嵌入知识库本身所使用的相同的嵌入模型，将要提问的问题/查询进行嵌入，转换成向量；
6: 使用生成的向量在向量数据库的索引中运行一个查询。选择要从向量数据库中检索多少个向量 - 这将等于您将要检索和最终用于回答查询问题的上下文数量；
7: 向量数据库对所提供的向量执行近似最近邻(ANN)搜索，并返回之前选择的上下文向量的数量。该过程返回在给定的嵌入/潜空间中最相似的向量；
8: 将返回的向量嵌入映射到对应的文本块；
9: 将问题与检索到的上下文文本块一起传给LLM(大语言模型)，通过提示指示LLM仅使用提供的上下文来回答给定的问题。这并不意味着不需要进行提示工程 - 需要确保LLM返回的答案符合预期的范围，例如，如果在检索到的上下文中没有可用的数据，则确保不提供虚构的答案】“LLM based Chatbot to query Private Knowledge Base” via:Aurimas Griciūnas
【Open-ChatGPT: 从0开始实现一个ChatGPT】'Open-ChatGPT: An open-source implementation of ChatGPT, Alpaca, Vicuna and RLHF Pipeline.' Robin GitHub: github.com/jianzhnie/open-chatgpt
【ChatGLM.cpp：ChatGLM-6B的C++实现版，可在macBook上运行】’ChatGLM.cpp - C++ implementation of ChatGLM-6B' Jiahao Li GitHub: github.com/li-plus/chatglm.cpp
'VisCPM - 基于CPM基础模型的中英双语多模态大模型系列，支持中英双语的多模态对话能力（VisCPM-Chat模型）和文到图生成能力（VisCPM-Paint模型），在中文多模态开源模型中达到最佳水平’ OpenBMB GitHub: github.com/OpenBMB/VisCPM
【在单块16G的推理卡上微调复现vicuna-7b】'Fine-tuning vicuna-7b on a single 16G GPU - llama fine-tuning with lora' git-cloner GitHub: github.com/git-cloner/llama-lora-fine-tuning
【ChatGLM2-6B/baichuan-7B/ChatGLM-6B 的 LoRA 微调】’Tuning LLMs with no tears, sharing LLM-tools with love.' beyondguo GitHub: github.com/beyondguo/LLM-Tuning
【Lord of LLMS：基于大型语言模型的文本生成服务器，提供基于Flask的API来生成文本，具有完全集成的库，可以访问绑定、人格和辅助工具，支持使用不同风格和语气生成文本的多个人格，支持实时文本生成和RESTful API等功能】'Lord of Large Language Models (LoLLMs) - Lord of LLMS' Saifeddine ALOUI GitHub: github.com/ParisNeo/lollms
【eigenGPT：GPT2的最小化C++实现】’eigenGPT - Minimal C++ implementation of GPT2' David A Roberts GitHub: github.com/davidar/eigenGPT
'Media LLaMA ：中文自媒体大模型' IMOSR GitHub: github.com/IMOSR/Media-LLaMA
【EduChat：开源中英教育对话大模型。(通用基座模型，GPU部署，数据清理) 】'EduChat - An open-source educational chat model from ICALK, East China Normal University.' ICALK-NLP GitHub: github.com/icalk-nlp/EduChat
【llama.cpp的手机端实现示例】’Demo App for llama.cpp Model - A mobile Implementation of llama.cpp' Bip-Rep GitHub: github.com/Bip-Rep/sherpa
【API for Open LLMs：开源大模型的统一后端接口，支持多种开源大模型】’API for Open LLMs - openai style api for open large language models, using LLMs just as chatgpt! ' xusenlin GitHub: github.com/xusenlinzy/api-for-open-llm
'Cornucopia-LLaMA-Fin-Chinese - 聚宝盆(Cornucopia): 基于中文金融知识的LLaMA微调模型；涉及SFT、RLHF、GPU训练部署等。通过中文金融公开问答数据+爬取的金融问答数据构建指令数据集，并在此基础上对 LLaMA 系模型进行了指令微调，提高了 LLaMA 在金融领域的问答效果’ yuyangmu GitHub: github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese
llama.cpp现在支持分布式推理，可以运行在树莓派Raspberry Pis集群上运行650亿参数的LLaMA大模型。 相关PR：github.com/ggerganov/llama.cpp/pull/2099
【LiteChain：构建LLMs应用的轻量级替代LangChain的选择，专注于拥有小而简单的核，易于学习、易于适应、文档完备、完全类型化和可组合】'LiteChain - Build robust LLM applications with true composability' Rogério Chaves GitHub: github.com/rogeriochaves/litechain
【方便的封装器，用于在内存受限环境中进行大型语言模型(LLM)的微调和推理，支持参数高效微调(例如LoRA、Adapter)和量化技术(8位、4位)】’Memory Efficient Fine-tuning of Large Language Models (LoRA + quantization) - Convenient wrapper for fine-tuning and inference of Large Language Models (LLMs) with several quantization techniques (GTPQ, bitsandbytes)' Tuan Anh Nguyen Dang GitHub: github.com/taprosoft/llm_finetuning
【LLaMA模型族进化图】“Evolutionary Graph of LLaMA Family” src: github.com/RUCAIBox/LLMSurvey
【Instruction Tuning with GPT-4：GPT-4-LLM是用于指令追踪的模型，通过GPT-4生成数据，用于训练遵循指令的LLM，数据包括使用Alpaca提示生成的英文指令追踪数据、使用ChatGPT将Alpaca提示翻译为中文生成的中文指令追踪数据、用于训练奖励模型的GPT-4排序数据以及用于量化GPT-4和指令追踪模型之间差距的非自然指令数据】'Instruction Tuning with GPT-4 - Instruction Tuning with GPT-4' Instruction-Tuning-with-GPT-4 GitHub: github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM
【LongLLaMA: 能处理长上下文的大型语言模型，基于OpenLLaMA，并使用Focused Transformer(FoT)方法进行了微调，支持256k或更长的上下文，并提供了支持更长上下文的推理代码】'LongLLaMA: Focused Transformer Training for Context Scaling - LongLLaMA is a large language model capable of handling long contexts. It is based on OpenLLaMA and fine-tuned with the Focused Transformer (FoT) method.' Konrad Staniszewski GitHub: github.com/CStanKonrad/long_llama
【LMDeploy：涵盖了 LLM 任务的全套轻量化、部署和服务解决方案】'LMDeploy - LMDeploy is a toolkit for compressing, deploying, and serving LLM' InternLM GitHub: github.com/InternLM/lmdeploy
在自己的基础设施上优化和部署LLM，构建完全托管在自己基础设施上的LLM应用】’ - Deploy LLMs on your own cloud, Fine-Tune and Deploy LLMs On Your Own Infrastructure’ Haven GitHub: github.com/havenhq/haven
【Baichuan-13B：由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果】'Baichuan-13B - A 13B large language model developed by Baichuan Intelligent Technology' Baichuan Intelligent Technology GitHub: github.com/baichuan-inc/Baichuan-13B
【ChatGPT + Code Interpreter综合应用实验集锦】’chatgpt + code interpreter experiments - Awesome things you can do with ChatGPT + Code Interpreter combo' Piotr Skalski GitHub: github.com/SkalskiP/awesome-chatgpt-code-interpreter-experiments
项目代码：github.com/zyddnys/manga-image-translator
LLM是大脑，各种API是手脚，这样AI才能“大展拳脚”。大模型的应用日新月异，推荐微软的TaskMatrix.ai，某认为这将是AI的主流架构 https://arxiv.org/pdf/2303.16434.pdf
'微调LLAMA的中文指南' chaoyi-wu GitHub: github.com/chaoyi-wu/Finetune_LLAMA
【Xorbits Inference: ：功能强大、多用途的库，旨在为LLM、语音识别模型和多模态模型提供服务，甚至在笔记本电脑上也能使用，支持各种模型组合。Xinference简化了大规模语言、语音识别和多模态模型的服务过程，支持的模型包括baichuan、chatglm、chatglm2、wizardlm、vicuna、orca等】’Xorbits Inference: Model Serving Made Easy - Xorbits Inference (Xinference) is a powerful and versatile library designed to serve LLMs, speech recognition models, and multimodal models, even on your laptop. It supports a variety of models compatible with GGML, such as chatglm, baichuan, whisper, vicuna, orac, and many others.' Xorbits GitHub: github.com/xorbitsai/inference
提出Retentive Network(RETNET)，作为大型语言模型的基础架构，实现了低成本推理、训练并行化和有利的扩展性能。 https://arxiv.org/abs/2307.08621
【llm-toys：小型(7B 及以下)、面向产品化的微调LLM，，适用于多种使用任务，包括释义、改变段落语气、从对话中生成摘要和主题、检索增强 QA等】’llm-toys - Small(7B and below), production-ready finetuned LLMs for a diverse set of useful tasks.' Kumar Utsav GitHub: github.com/kuutsav/llm-toys
【llama-2可以用Colab试玩起来了】’A colab gradio web UI for running Large Language Models' camenduru GitHub: github.com/camenduru/text-generation-webui-colab
【fastllm：通过docker或modal labs自托管LLM服务集，用于支持应用开发】'fastllm - A collection of LLM services you can self host via docker or modal labs to support your applications development' Jason Liu GitHub: github.com/jxnl/fastllm
【RAGstack：部署一个位于VPC内的私有ChatGPT替代品，可将其连接到组织知识库，用作企业oracle，支持Llama 2、Falcon和GPT4All等开源LLM】'RAGstack - Deploy a private ChatGPT alternative hosted within your VPC. Connect it to your organization's knowledge base and use it as a corporate oracle. Supports open-source LLMs like Llama 2, Falcon, and GPT4All.' Psychic GitHub: github.com/psychic-api/rag-stack
【中文版 Llama2 模型及中英文 SFT 数据集】《LinkSoul/Chinese-Llama-2-7b · Hugging Face》 https://huggingface.co/LinkSoul/Chinese-Llama-2-7b
【minigpt4.cpp：MiniGPT4的C++移植版】’minigpt4.cpp - Port of MiniGPT4 in C++ (4bit, 5bit, 6bit, 8bit, 16bit CPU inference with GGML)' Henry Zhu GitHub: github.com/Maknee/minigpt4.cpp
【LightLLM：基于Python的LLM推理和服务框架，其轻量化设计、易于扩展和高性能值得注意】'LightLLM - a Python-based LLM (Large Language Model) inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance.' ModelTC GitHub: github.com/ModelTC/lightllm
【Llama 2本地运行指南：介绍了如何在本地运行和调试Llama 2，不需要互联网连接，提供了三种开源工具在不同设备上运行Llama 2：Llama.cpp适用于Mac/Windows/Linux，Ollama适用于Mac，MLC LLM适用于iOS和Android】《A comprehensive guide to running Llama 2 locally - Replicate – Replicate》 https://replicate.com/blog/run-llama-locally?continueFlag=dbcfad60de01c63138e323bb44da5fc7
【三步上手 LLaMA2】'Docker LLaMA2 Chat - Play LLaMA2 (official / 中文版 / INT4 / llama2.cpp) Together! ONLY 3 STEPS! ( non GPU / 5GB vRAM / 8~14GB vRAM)' Su Yang GitHub: github.com/soulteary/docker-llama2-chat
【llama2.c：用纯C语言实现的Llama 2模型推断】'llama2.c - Inference Llama 2 in one file of pure C' Andrej Karpathy GitHub: github.com/karpathy/llama2.c
【llama2-webui：在本地使用Gradio用户界面在GPU或CPU上运行Llama 2，支持Linux/Windows/Mac系统。支持Llama-2-7B/13B/70B模型，支持8位和4位模式】'llama2-webui - Run Llama 2 locally with gradio UI on GPU or CPU from anywhere (Linux/Windows/Mac). Supporting Llama-2-7B/13B/70B with 8-bit, 4-bit. Supporting GPU inference (6 GB VRAM) and CPU inference.' Tom GitHub: github.com/liltom-eth/llama2-webui
'Chinese Llama 2 7B - 开源社区第一个能下载、能运行的中文 LLaMA2 模型' LinkSoul-AI GitHub: github.com/LinkSoul-AI/Chinese-Llama-2-7b
【Secondbrain：跨平台桌面应用程序，可在本机下载和运行大型语言模型(LLM)，允许在本地使用AI对话，无需联网，保护隐私，可自由表达想法】'Secondbrain - Multi-platform desktop app to download and run Large Language Models(LLM) locally in your computer.' Julio Andres GitHub: github.com/juliooa/secondbrain
【llama2.c for Dummies：llama2.c手把手代码解析】’llama2.c for Dummies - Step by step explanation/tutorial of llama2.c' Rahul Shiv Chand GitHub: github.com/RahulSChand/llama2.c-for-dummies
在个人电脑上部署ChatGLM2-6B中文对话大模型 https://blog.csdn.net/u011236348/article/details/131479974
【TitanML | Takeoff Server：为了优化大型语言模型的推理而设计的服务器，具有易于部署和流式响应、优化的int8量化、聊天和类似试炼场的界面等特性】'TitanML | Takeoff Server' by titanml GitHub: github.com/titanml/takeoff
【如何微调Transformer】《How to fine-tune a Transformer?》 https://radekosmulski.com/how-to-fine-tune-a-transformer/
【DevOpsGPT: DevOpsGPT: AI驱动的智能软件开发平台，将 LLM 和 DevOps 工具相结合，通过利用Chat-GPT等大型语言模型的能力，将自然语言需求转化为可工作的软件】'DevOpsGPT: AI-Driven Software Development Automation Solution - Multi agent system for AI-driven software development. convert natural language requirements into working software.' KuafuAI GitHub: github.com/kuafuai/DevOpsGPT
【Llama 2 Powered By ONNX：ONNX优化版Llama 2实现】’Llama 2 Powered By ONNX' by Microsoft GitHub: github.com/microsoft/Llama-2-Onnx
【大型语言模型相关资源列表，关于大型模型训练或服务的系统论文、框架、代码和工具的总结】’Awesome Large Model (LM) System - Summary of system papers/frameworks/codes/tools on training or serving large model' ModelTC GitHub: github.com/ModelTC/awesome-lm-system
【cometLLM：一个Python库，可轻松跟踪和可视化LLM的提示和输出。用户可以识别有效的策略，高效解决问题，并确保可重复的工作流程。通过cometLLM，可以简化流程，充分释放LLM的潜力】'cometLLM - comet llm support' Comet GitHub: github.com/comet-ml/comet-llm
【通义千问大模型系列的70亿参数规模的模型，基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到】’Qwen-7B (通义千问-7B) chat & pretrained large language model' Qwen GitHub: github.com/QwenLM/Qwen-7B
'中文儿童情感陪伴大模型“巧板” - 旨在构建一个面向儿童情感陪伴的大模型’ by HIT-SCIR-SC GitHub: github.com/HIT-SCIR-SC/QiaoBan
【Swift Transformers：苹果设备端优化的Transformer，可将大型语言模型如Llama转换至苹果设备上的Core ML格式,从而在iOS和macOS应用中使用】《Releasing Swift Transformers: Run On-Device LLMs in Apple Devices》 https://huggingface.co/blog/swift-coreml-llm
【LLM实战入门】 https://www.kaggle.com/code/jhoward/getting-started-with-llms/
中文 LLaMA-2 & Alpaca-2 大模型二期项目 + 本地CPU/GPU训练部署 (ChineseLLaMA-2 & Alpaca-2 LLMs) 项目：github.com/ymcui/Chinese-LLaMA-Alpaca-2
'Llama2 Embeddings FastAPI Service' by Dicklesworthstone GitHub: github.com/Dicklesworthstone/Jeff Emanuel
【GPT-vup Live2D数字人直播：支持BiliBili和抖音直播，基于生产者-消费者模型设计，使用了openai嵌入、GPT3.5 api】'GPT-vup BIliBili | 抖音 | AI | 虚拟主播' JiRan GitHub: github.com/jiran214/GPT-vup
'AI Vtuber - 由 [ChatterBot/ChatGPT/claude/langchain（本地/llm）/chatglm/text-generation-webui/闻达] 驱动的虚拟主播(Live2D)，可以与观众实时互动 或 直接在本地进行聊天，使用自然语言处理和文本转语音技术 [edge-tts/VITS/elevenlabs/bark-gui] 生成对观众问题的回答并可以选择 [so-vits-svc/DDSP-SVC]变声；通过特定指令协同Stable Diffusion进行画图展示。并且可以自定义文案进行循环播放' Ikaros GitHub: github.com/Ikaros-521/AI-Vtuber
SillyTavern 这是一个可以本地部署的虚拟角色聊天软件，支持多种虚拟角色，也可以自己创造角色，后台可以连多种不同LLM，比如OpenAI、Claude、Llama等，支持TTS（文字转语音） 另外它支持NSFW，也就是传说中的文爱。 项目地址：github.com/SillyTavern/SillyTavern
【AI-Waifu-Vtuber：AI伴侣虚拟YouTuber，基于VoiceVox Engine、DeepL、Whisper OpenAI、Seliro TTS和VtubeStudio等技术构建】’AI-Waifu-Vtuber - AI Vtuber for Streaming on Youtube/Twitch' Ardha GitHub: github.com/ardha27/AI-Waifu-Vtuber
【LlamaGPT：自托管离线聊天机器人，类似于ChatGPTm由Llama 2提供支持，保证100%隐私，没有数据会离开设备，根据硬件选择合适的模型大小，如7B、13B和70B】’LlamaGPT - A self-hosted, offline, ChatGPT-like chatbot. Powered by Llama 2. 100% private, with no data leaving your device.' Umbrel GitHub: github.com/getumbrel/llama-gpt
【TinyGPT：GPT-2的从头用C++11实现的微小推理实现，主要基于 picoGPT 项目】'TinyGPT - Tiny C++11 GPT-2 inference implementation from scratch' Keith GitHub: github.com/keith2018/TinyGPT
【Qwen-VL(通义千问)：阿里云的大规模视觉语言模型(Large Vision Language Model, LVLM)，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出】'Qwen-VL - The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud.' Qwen GitHub: github.com/QwenLM/Qwen-VL
【TinyChatEngine: 设备端大型语言模型(LLM)推断库，可用于边缘计算，可以在笔记本电脑、车载娱乐系统、机器人或飞船上运行代码助手、办公应用和智能回复等服务】'TinyChatEngine: On-Device LLM Inference Library' MIT HAN Lab GitHub: github.com/mit-han-lab/TinyChatEngine
【基于Transformer的LLM原理可视化解析】《Generative AI exists because of the transformer》 http://aicoco.net/s/5k
【面向不同任务微调Llama-2经验总结】
- 研究了3个不同任务的Llama-2微调，包括从非结构文本提取功能性表示、SQL生成和学龄前数学推理。
- 微调可以明显提升Llama-2在这些任务上的表现，有时甚至超过GPT-4。
- 对每个任务，讨论了微调的可行性，评估方法，结果比较以及关键收获。
- 微调的重点是学习特定任务的结构，而不仅是事实知识。
- 合理的评估流程对模型开发非常重要。
- 整体而言，微调可以有效提升模型在特定任务上的表现，是实现生产可用的LLM应用的一种重要途径。
《Fine-Tuning Llama-2: A Comprehensive Case Study for Tailoring Models to Unique Applications》 https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehensive-case-study-for-tailoring-models-to-unique-applications
'敏感词检测API - 私有化部署 - 敏感词检测，违禁词过滤，敏感词过滤，敏感词库，一键启动，本地运行，私有化部署，1分钟接入完成，支持docker，支持在线api' bosnzt GitHub: github.com/bosnzt/wordscheck
【Translumo：高级屏幕翻译工具，能够实时检测和翻译选定区域中出现的文字】'Translumo - Advanced real-time screen translator for games, hardcoded subtitles in videos, static text and etc.' Danil I. GitHub: github.com/Danily07/Translumo
'qwen.cpp - C++ implementation of Qwen-LM for real-time chatting on your MacBook' GitHub: github.com/QwenLM/qwen.cpp
【localpilot：在本地运行的GitHub Copilot】’localpilot - Use GitHub Copilot locally on your Macbook with one-click!’ by Daniel Gross GitHub: github.com/danielgross/localpilot
【用于改善效率和学习的教育提示设计，旨在改变 K-12 和高等教育机构的学生、教育工作者和工作人员与 ChatGPT 和 Bing Chat 等生成式 AI 技术互动的方式】’Prompts for Education: Enhancing Productivity & Learning' by Microsoft GitHub: github.com/microsoft/prompts-for-edu
【llm-python：LLM应用实例教程(覆盖langchain, openai, llamaindex, gpt, chromadb & pinecone等)】’llm-python - Large Language Models (LLMs) tutorials & sample scripts, ft. langchain, openai, llamaindex, gpt, chromadb & pinecone' Samuel Chan GitHub: github.com/onlyphantom/llm-python
【用 LoRA 和 QLoRA 微调 LLM：数百次实验的启示】《Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments - Lightning AI》 https://lightning.ai/pages/community/lora-insights/
'Baichuan2-Explained - Baichuan2代码的逐行解析版本，适合小白' Doc.Artificial GitHub: github.com/ArtificialZeng/Baichuan2-Explained
【LLaVA C++ Server：简单API服务器，用于LLaVA的C++实现】'LLaVA C++ Server - LLaVA server (llama.cpp).' Bart Trzynadlowski GitHub: github.com/trzy/llava-cpp-server
【LLM推理资源合集(Papers|Blogs|Docs)】'A small Collection for Awesome LLM inference [Papers|Blogs|Docs] with codes, contains TensorRT-LLM, streaming-llm, SmoothQuant, WINT8/4, Continuous Batching, FlashAttention, PagedAttention etc.' DefTruth GitHub: github.com/DefTruth/Awesome-LLM-Inference
'Chat-嬛嬛 2.0 - 利用《甄嬛传》剧本中所有关于甄嬛的台词和语句，基于ChatGLM2进行LoRA微调得到的模仿甄嬛语气的聊天语言模型' KMnO4-zx GitHub: github.com/KMnO4-zx/huanhuan-chat
'中文LLaMA-2 & Alpaca-2大模型二期项目 + 16K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs, including 16K long context models)' Yiming Cui GitHub: github.com/ymcui/Chinese-LLaMA-Alpaca-2
电子书《LLM 应用开发实践笔记》 地址：github.com/morsoli/llm-books 理论学习部分由Langchain、LlamaIndex等开源工具文档、一些最佳实践的技术博客、论文阅读三部分组成。在每个工具的理论学习结束后，辅以实践性代码帮助理解。最后会将各个模块整合起来实现一个信息处理系统。
'孙思邈中文医疗大模型(Sunsimiao)：提供安全、可靠、普惠的中文医疗大模型' thomas-yanxin GitHub: github.com/thomas-yanxin/Sunsimiao
【LoRAX：可以高效地在单个GPU设备上部署和运行多个微调大语言模型的框架，显著降低了服务成本，支持动态加载不同的适配器模型，能根据请求实时加载必要的模型权重，不影响并发请求】’LoRAX - Serve 100s of Fine-Tuned LLMs in Production for the Cost of 1' Predibase GitHub: github.com/predibase/lorax
【用LoRA微调LLM的实用技巧】《Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation)》 https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms
【(免费电子书)动手学大模型应用开发：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门】《动手学大模型应用开发》 GitHub: github.com/datawhalechina/llm-universe
电子书《大规模语言模型：从理论到实践》 地址：intro-llm.github.io/ 复旦大学张奇、桂韬、郑锐、黄萱菁老师作品。本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。 本书围绕大语言模型构建的四个主要阶段：预训练、有监督微调、奖励建模和强化学习，详细介绍各阶段使用的算法、数据、难点以及实践经验。 网站内含电子书和课件。
【Open-Llama：一个开源项目，提供了一整套用于构建大型语言模型的训练流程，从数据集准备到分词、预训练、指令调优，lora, 以及强化学习技术 RLHF】'Open-Llama - The complete training code of the open-source high-performance Llama model, including the full process from pre-training to RLHF.' RapidAI GitHub: github.com/RapidAI/Open-Llama
【llamafile：旨在通过单一文件分发和运行LLM(大语言模型)，主要目标是实现“一次构建，随处运行”的愿景，使AI开发人员能够将应用构建为单一文件，可在大多数PC和服务器上本地运行】'llamafile - Distribute and run LLMs with a single file.' Mozilla Ocho GitHub: github.com/Mozilla-Ocho/llamafile
LLM Visualization 一个将 ChatGPT 背后的小型 LLM 可视化的网页，它采用三维渲染，显示了运行单标记推理的所有步骤。 https://bbycroft.net/llm https://github.com/bbycroft/llm-viz
【在笔记本电脑上训练自己的LLM模型】
- 介绍了Low Rank Adapters(LoRA)和QLoRA两种降低LLM微调内存需求的方法。
- QLoRA通过量化预训练语言模型来实现内存需求减小。
- 结合梯度检查点技术，QLoRA可以在CPU上运行。
- 文章展示了如何通过Intel® Extension for Transformers在CPU上实现QLoRA。
- 结果显示，QLoRA可以在消费级CPU上进行LLM微调，并取得与LoRA相当的指标，但大大减少资源需求。
- 关键是优化了dropout运算和量化权重张量的反量化流程。
- 文章鼓励读者在自己的笔记本电脑上尝试QLoRA，创建自己的聊天机器人。
- 这种技术有望使消费级硬件也能进行LLM的有效训练和部署。 《Creating Your Own LLMs on Your Laptop | by Intel(R) Neural Compressor | Dec, 2023 | Medium》 https://medium.com/intel-analytics-software/creating-your-own-llms-on-your-laptop-a08cc4f7c91b