Skip to content

Commit

Permalink
更新文档
Browse files Browse the repository at this point in the history
  • Loading branch information
@AlongWY
AlongWY committed Jun 27, 2023
1 parent aaec1c3 commit 786137d
Show file tree
Hide file tree
Showing 2 changed files with 50 additions and 48 deletions.
49 changes: 25 additions & 24 deletions README.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -2,10 +2,10 @@
![CONTRIBUTORS](https://img.shields.io/github/contributors/HIT-SCIR/ltp)
![LAST COMMIT](https://img.shields.io/github/last-commit/HIT-SCIR/ltp)

| Language | version |
| ------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [Python](python/interface/README.md) | [![LTP](https://img.shields.io/pypi/v/ltp?label=LTP)](https://pypi.org/project/ltp) [![LTP-Core](https://img.shields.io/pypi/v/ltp-core?label=LTP-Core)](https://pypi.org/project/ltp-core) [![LTP-Extension](https://img.shields.io/pypi/v/ltp-extension?label=LTP-Extension)](https://pypi.org/project/ltp-extension) |
| [Rust](rust/ltp/README.md) | [![LTP](https://img.shields.io/crates/v/ltp?label=LTP)](https://crates.io/crates/ltp) |
| Language | version |
| ------------------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [Python](python/interface/README.md) | [![LTP](https://img.shields.io/pypi/v/ltp?label=LTP)](https://pypi.org/project/ltp) [![LTP-Core](https://img.shields.io/pypi/v/ltp-core?label=LTP-Core)](https://pypi.org/project/ltp-core) [![LTP-Extension](https://img.shields.io/pypi/v/ltp-extension?label=LTP-Extension)](https://pypi.org/project/ltp-extension) |
| [Rust](rust/ltp/README.md) | [![LTP](https://img.shields.io/crates/v/ltp?label=LTP)](https://crates.io/crates/ltp) |

# LTP 4

Expand Down Expand Up @@ -36,27 +36,27 @@ LTP（Language Technology Platform） 提供了一系列中文自然语言处理

**参考书：**
由哈工大社会计算与信息检索研究中心（HIT-SCIR）的多位学者共同编著的《[自然语言处理：基于预训练模型的方法](https://item.jd.com/13344628.html)
》（作者：车万翔、郭江、崔一鸣；主审：刘挺）一书现已正式出版，该书重点介绍了新的基于预训练模型的自然语言处理技术，包括基础知识、预训练词向量和预训练模型三大部分，可供广大LTP用户学习参考。
》（作者：车万翔、郭江、崔一鸣；主审：刘挺）一书现已正式出版，该书重点介绍了新的基于预训练模型的自然语言处理技术，包括基础知识、预训练词向量和预训练模型三大部分，可供广大 LTP 用户学习参考。

### 更新说明

- 4.2.0
- \[结构性变化\] 将 LTP 拆分成 2 个部分，维护和训练更方便，结构更清晰
- \[Legacy 模型\] 针对广大用户对于**推理速度**的需求，使用 Rust 重写了基于感知机的算法，准确率与 LTP3 版本相当，速度则是 LTP v3 的 **3.55** 倍，开启多线程更可获得 **17.17** 倍的速度提升，但目前仅支持分词、词性、命名实体三大任务
- \[深度学习模型\] 即基于 PyTorch 实现的深度学习模型，支持全部的6大任务（分词/词性/命名实体/语义角色/依存句法/语义依存）
- \[深度学习模型\] 即基于 PyTorch 实现的深度学习模型，支持全部的 6 大任务（分词/词性/命名实体/语义角色/依存句法/语义依存）
- \[其他改进\] 改进了模型训练方法
- \[共同\] 提供了训练脚本和训练样例，使得用户能够更方便地使用私有的数据，自行训练个性化的模型
- \[深度学习模型\] 采用 hydra 对训练过程进行配置，方便广大用户修改模型训练参数以及对 LTP 进行扩展（比如使用其他包中的 Module）
- \[其他变化\] 分词、依存句法分析 (Eisner) 和 语义依存分析 (Eisner) 任务的解码算法使用 Rust 实现，速度更快
- \[新特性\] 模型上传至 [Huggingface Hub](https://huggingface.co/LTP)，支持自动下载，下载速度更快，并且支持用户自行上传自己训练的模型供LTP进行推理使用
- \[破坏性变更\] 改用 Pipeline API 进行推理，方便后续进行更深入的性能优化（如SDP和SDPG很大一部分是重叠的，重用可以加快推理速度），使用说明参见[Github快速使用部分](https://github.com/hit-scir/ltp)
- \[新特性\] 模型上传至 [Huggingface Hub](https://huggingface.co/LTP)，支持自动下载，下载速度更快，并且支持用户自行上传自己训练的模型供 LTP 进行推理使用
- \[破坏性变更\] 改用 Pipeline API 进行推理，方便后续进行更深入的性能优化（如 SDP 和 SDPG 很大一部分是重叠的，重用可以加快推理速度），使用说明参见[Github 快速使用部分](https://github.com/hit-scir/ltp)
- 4.1.0
- 提供了自定义分词等功能
- 修复了一些bug
- 修复了一些 bug
- 4.0.0
- 基于Pytorch 开发，原生 Python 接口
- 基于 Pytorch 开发，原生 Python 接口
- 可根据需要自由选择不同速度和指标的模型
- 分词、词性、命名实体、依存句法、语义角色、语义依存6大任务
- 分词、词性、命名实体、依存句法、语义角色、语义依存 6 大任务

## 快速使用

Expand All @@ -66,7 +66,7 @@ LTP（Language Technology Platform） 提供了一系列中文自然语言处理
# 方法 1： 使用清华源安装 LTP
# 1. 安装 PyTorch 和 Transformers 依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers
# 2. 安装 LTP
# 2. 安装 LTP
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ltp ltp-core ltp-extension

# 方法 2： 先全局换源，再安装 LTP
Expand All @@ -84,6 +84,8 @@ pip install ltp ltp-core ltp-extension
import torch
from ltp import LTP

# 默认 huggingface 下载，可能需要代理

ltp = LTP("LTP/small") # 默认加载 Small 模型
# 也可以传入模型的路径，ltp = LTP("/path/to/your/model")
# /path/to/your/model 应当存在 config.json 和其他模型文件
Expand Down Expand Up @@ -138,19 +140,19 @@ fn main() -> Result<(), Box<dyn std::error::Error>> {

## 模型性能以及下载地址

| 深度学习模型 | 直链下载 ｜ 分词 | 词性 | 命名实体 | 语义角色 | 依存句法 | 语义依存 | 速度(句/S) |
|:-----------------------------------------:|:-----------------------------------------------:| :---: | :---: | :---: | :---: | :---: | :-----: |
| [🤗Base](https://huggingface.co/LTP/base) | [🗜Base](http://39.96.43.154/ltp/v4/base.tgz) | 98.7 | 98.5 | 95.4 | 80.6 | 89.5 | 75.2 | 39.12 |
| [🤗Base1](https://huggingface.co/LTP/base1) | [🗜Base1](http://39.96.43.154/ltp/v4/base1.tgz) |99.22 | 98.73 | 96.39 | 79.28 | 89.57 | 76.57 | --.-- |
| [🤗Base2](https://huggingface.co/LTP/base2) | [🗜Base2](http://39.96.43.154/ltp/v4/base2.tgz) |99.18 | 98.69 | 95.97 | 79.49 | 90.19 | 76.62 | --.-- |
| [🤗Small](https://huggingface.co/LTP/small) | [🗜Small](http://39.96.43.154/ltp/v4/small.tgz) | 98.4 | 98.2 | 94.3 | 78.4 | 88.3 | 74.7 | 43.13 |
| [🤗Tiny](https://huggingface.co/LTP/tiny) | [🗜Tiny](http://39.96.43.154/ltp/v4/tiny.tgz) | 96.8 | 97.1 | 91.6 | 70.9 | 83.8 | 70.1 | 53.22 |
| 深度学习模型(🤗HF/🗜 压缩包) | 分词 | 词性 | 命名实体 | 语义角色 | 依存句法 | 语义依存 | 速度(句/S) |
| :----------------------------------------------------------------------------------------: | :---: | :---: | :------: | :------: | :------: | :------: | :--------: |
| [🤗Base](https://huggingface.co/LTP/base) [🗜Base](http://39.96.43.154/ltp/v4/base.tgz) | 98.7 | 98.5 | 95.4 | 80.6 | 89.5 | 75.2 | 39.12 |
| [🤗Base1](https://huggingface.co/LTP/base1) [🗜Base1](http://39.96.43.154/ltp/v4/base1.tgz) | 99.22 | 98.73 | 96.39 | 79.28 | 89.57 | 76.57 | --.-- |
| [🤗Base2](https://huggingface.co/LTP/base2) [🗜Base2](http://39.96.43.154/ltp/v4/base2.tgz) | 99.18 | 98.69 | 95.97 | 79.49 | 90.19 | 76.62 | --.-- |
| [🤗Small](https://huggingface.co/LTP/small) [🗜Small](http://39.96.43.154/ltp/v4/small.tgz) | 98.4 | 98.2 | 94.3 | 78.4 | 88.3 | 74.7 | 43.13 |
| [🤗Tiny](https://huggingface.co/LTP/tiny) [🗜Tiny](http://39.96.43.154/ltp/v4/tiny.tgz) | 96.8 | 97.1 | 91.6 | 70.9 | 83.8 | 70.1 | 53.22 |

| 感知机算法 | 直链下载 | 分词 | 词性 | 命名实体 | 速度(句/s) | 备注 |
| :-----------------------------------------: |:-------------------------------------------------:|:----------:| :---: | :---: | :------: | :------------------------: |
| [🤗Legacy](https://huggingface.co/LTP/legacy) | [🗜Legacy](http://39.96.43.154/ltp/v4/legacy.tgz) | 97.93 | 98.41 | 94.28 | 21581.48 | [性能详情](rust/ltp/README.md) |
| 感知机算法模型(🤗HF/🗜 压缩包) | 分词 | 词性 | 命名实体 | 速度(句/s) | 备注 |
| :--------------------------------------------------------------------------------------------: | :---: | :---: | :------: | :--------: | :----------------------------: |
| [🤗Legacy](https://huggingface.co/LTP/legacy) [🗜Legacy](http://39.96.43.154/ltp/v4/legacy.tgz) | 97.93 | 98.41 | 94.28 | 21581.48 | [性能详情](rust/ltp/README.md) |

**注：感知机算法速度为开启16线程速度**
**注：感知机算法速度为开启 16 线程速度**

### 如何下载对应的模型

Expand Down Expand Up @@ -181,7 +183,6 @@ from ltp import LTP
ltp = LTP("path/to/base")
```


## 构建 Wheel 包

```shell script
Expand Down
Loading

0 comments on commit 786137d

Please sign in to comment.