Add lite deploy.

rainyfly · Apr 26, 2021 · e70c763 · e70c763
1 parent c060a59
commit e70c763
Show file tree

Hide file tree

Showing 6 changed files with 124 additions and 32 deletions.
diff --git a/deploy/lite/README.md b/deploy/lite/README.md
@@ -0,0 +1,92 @@
+# 移动端部署
+
+## 1.介绍
+以人像分割在安卓端的部署为例，介绍如何使用[Paddle-Lite](https://github.com/PaddlePaddle/Paddle-Lite)对分割模型进行移动端的部署。文档第2章介绍如何使用人像分割安卓端的demo，第3章介绍如何进行二次开发，更新Paddle-Lite预测库，或将新的PaddleSeg模型部署到安卓设备。
+
+## 2.安卓Demo使用
+
+### 2.1 要求
+* Android Studio 3.4；
+* Android手机或开发板；
+
+### 2.2 一键安装
+* git clone https://github.com/PaddlePaddle/PaddleSeg.git ;
+* 打开Android Studio，在"Welcome to Android Studio"窗口点击"Open an existing Android Studio project"，在弹出的路径选择窗口中进入"PaddleSeg/deploy/lite/humanseg_android_demo/"目录，然后点击右下角的"Open"按钮即可导入工程，构建工程的过程中会自动下载demo需要的模型和Lite预测库；
+* 通过USB连接Android手机或开发板；
+* 载入工程后，点击菜单栏的Run->Run 'App'按钮，在弹出的"Select Deployment Target"窗口选择已经连接的Android设备，然后点击"OK"按钮；
+
+*注：此安卓demo基于[Paddle-Lite-Demo](https://github.com/PaddlePaddle/Paddle-Lite-Demo)开发，更多的细节请参考该repo。*
+
+### 2.3 预测
+* 在人像分割Demo中，默认会载入一张人像图像，并会在图像下方给出CPU的预测结果和预测时延；
+* 在人像分割Demo中，你还可以通过上方的"Gallery"和"Take Photo"按钮从相册或相机中加载测试图像；
+
+*注意：demo中拍照时照片会自动压缩，想测试拍照原图效果，可使用手机相机拍照后从相册中打开进行预测。*
+
+
+### 2.4 效果展示
+<img src="example/human_1.png"  width="20%" ><img src="example/human_2.png"  width="20%" ><img src="example/human_3.png"  width="20%" >
+
+## 3.二次开发
+您可按需要更新预测库或模型进行二次开发，其中更新模型分为模型导出和模型转换两个步骤。
+
+### 3.1 更新预测库
+Paddle-Lite的编译目前支持Docker，Linux和Mac OS开发环境，建议使用Docker开发环境，以免存在各种依赖问题，同时也提供了预编译版本的预测库。准备Paddle-Lite在安卓端的预测库，主要包括三个文件：
+
+* PaddlePredictor.jar；
+* arm64-v8a/libpaddle_lite_jni.so；
+* armeabi-v7a/libpaddle_lite_jni.so；
+
+下面分别介绍两种方法：
+
+* 使用预编译版本的预测库，最新的预编译文件参考：[release](https://github.com/PaddlePaddle/Paddle-Lite/releases/)，此demo使用的[版本](https://paddlelite-demo.bj.bcebos.com/libs/android/paddle_lite_libs_v2_8_0.tar.gz)
+
+	解压上面文件，PaddlePredictor.jar位于：java/PaddlePredictor.jar；
+
+	arm64-v8a相关so位于：java/libs/arm64-v8a；
+
+	armeabi-v7a相关so位于：java/libs/armeabi-v7a；
+
+* 手动编译Paddle-Lite预测库
+开发环境的准备和编译方法参考：[Paddle-Lite源码编译](https://paddle-lite.readthedocs.io/zh/release-v2.8/source_compile/compile_env.html)。
+
+准备好上述文件，即可参考[java_api](https://paddle-lite.readthedocs.io/zh/release-v2.8/api_reference/java_api_doc.html)在安卓端进行推理。具体使用预测库的方法可参考[Paddle-Lite-Demo](https://github.com/PaddlePaddle/Paddle-Lite-Demo)中更新预测库部分的文档。
+
+### 3.2 模型导出
+此demo的人像分割模型为基于HRNet w18 small v1的humanseg模型（[下载链接](https://bj.bcebos.com/paddleseg/deploy/lite/android/hrnet_w18_small.tar.gz)），更多的分割模型导出可参考：[模型导出](../../docs/model_export.md)
+
+### 3.3 模型转换
+
+#### 3.3.1 模型转换工具
+准备好PaddleSeg导出来的模型和参数文件后，需要使用Paddle-Lite提供的opt对模型进行优化，并转换成Paddle-Lite支持的文件格式，这里有两种方式来实现：
+
+详细的模型转换方法参考paddlelite提供的官方文档：[模型转化方法](https://paddle-lite.readthedocs.io/zh/release-v2.8/user_guides/opt/opt_python.html)，从PaddleSeg里面导出来的模型使用opt即可导出以`.nb`名称结尾的单个文件。
+
+* 使用预编译版本的opt，最新的预编译文件参考[release](https://github.com/PaddlePaddle/Paddle-Lite/releases/)，此demo使用的版本为[V2.8](https://paddle-lite.readthedocs.io/zh/release-v2.8/quick_start/release_lib.html#opt) ；
+
+* 手动编译opt
+
+(1)参照 [编译安装](https://paddle-lite.readthedocs.io/zh/release-v2.8/source_compile/compile_env.html) 进行环境配置和编译
+
+(2)进入docker中PaddleLite根目录，git checkout [release-version-tag]切换到release分支。此demo使用的版本为V2.8
+
+(3)执行如下命令编译opt
+```
+./lite/tools/build.sh build_optimize_tool
+```
+(4)编译完成，优化工具在`Paddle-Lite/build.opt/lite/api/opt`
+
+#### 3.3.2 更新模型
+将优化好的`.nb`文件，替换app/src/main/assets/image_segmentation/
+models/hrnet_small_for_cpu下面的文件即可。
+
+
+## 常见问题
+Q: 构建Android工程时提示权限不足
+```
+/Users/xxx/human_segmentation_demo/app/cache/71j4bd3k08cpahbhs9f81a9gj9/cxx/libs/arm64-v8a/libhiai_ir_build.so (Permission denied)
+```
+A: 开放缓存权限
+```
+chmod -R 777 /Users/xxx/human_segmentation_demo/app/cache/
+```
diff --git a/deploy/lite/example/human_1.png b/deploy/lite/example/human_1.png
diff --git a/deploy/lite/example/human_2.png b/deploy/lite/example/human_2.png
diff --git a/deploy/lite/example/human_3.png b/deploy/lite/example/human_3.png
diff --git a/docs/model_export.md b/docs/model_export.md
@@ -53,6 +53,6 @@ PaddleSeg目前支持以下部署方式：
 |端侧|库|教程|
 |-|-|-|
 |Python端部署|Paddle预测库|[示例](../deploy/python/)|
-|移动端部署|ONNX|完善中|
+|移动端部署|PaddleLite|[示例](../deploy/lite/)|
 |服务端部署|HubServing|完善中|
 |前端部署|PaddleJS|完善中|
diff --git a/docs/quick_start.md b/docs/quick_start.md
@@ -62,7 +62,7 @@
 
                                                                                             图5：数据集的原图和效果图
 
- 
+
 
 ```python
 #下载并解压数据集
@@ -89,7 +89,7 @@
 
   ```python
    其中train.txt和val.txt的内容如下所示：
-  
+
    images/image1.jpg labels/label1.png
    images/image2.jpg labels/label2.png
    ...
@@ -166,7 +166,7 @@ learning_rate: #设定学习率
 loss: #设定损失函数的类型
   types:
     - type: CrossEntropyLoss #损失函数类型
-  coef: [1, 1, 1, 1, 1] 
+  coef: [1, 1, 1, 1, 1]
   #BiseNetV2有4个辅助loss，加上主loss共五个，1表示权重 all_loss = coef_1 * loss_1 + .... + coef_n * loss_n
 
 model: #模型说明
@@ -195,27 +195,27 @@ A：与模型方案相关的信息均在配置文件中，还包括对原始样
 - transform是对数据的预处理的策略，用户可根据自己的实际需要改动
 
 ```python
-train_dataset: 
-  type: Dataset 
-  dataset_root: dataset/optic_disc_seg 
-  train_path: dataset/optic_disc_seg/train_list.txt 
-  num_classes: 2 
-  transforms: 
-    - type: Resize 
-      target_size: [512, 512] 
-    - type: RandomHorizontalFlip 
-    - type: Normalize 
+train_dataset:
+  type: Dataset
+  dataset_root: dataset/optic_disc_seg
+  train_path: dataset/optic_disc_seg/train_list.txt
+  num_classes: 2
+  transforms:
+    - type: Resize
+      target_size: [512, 512]
+    - type: RandomHorizontalFlip
+    - type: Normalize
   mode: train
 
-val_dataset: 
-  type: Dataset 
-  dataset_root: dataset/optic_disc_seg 
-  val_path: dataset/optic_disc_seg/val_list.txt 
-  num_classes: 2 
+val_dataset:
+  type: Dataset
+  dataset_root: dataset/optic_disc_seg
+  val_path: dataset/optic_disc_seg/val_list.txt
+  num_classes: 2
   transforms:
     - type: Resize  
       target_size: [512, 512]  
-    - type: Normalize 
+    - type: Normalize
   mode: val
 ```
 
@@ -244,9 +244,9 @@ output
   ├── iter_500 #表示在500步保存一次模型
           ├── model.pdparams  #模型参数
           └── model.pdopt  #训练阶段的优化器参数
-  ├── iter_1000 
-          ├── model.pdparams 
-          └── model.pdopt 
+  ├── iter_1000
+          ├── model.pdparams
+          └── model.pdopt
   └── best_model #在训练的时候，训练时候增加--do_eval后，每保存一次模型，都会eval一次，miou最高的模型会被另存为bset_model
           └── model.pdparams  
 ```
@@ -385,10 +385,10 @@ Kappa=P0−Pe1−PeKappa= \frac{P_0-P_e}{1-P_e}*K**a**p**p**a*=1−*P**e**P*0−
 ...
 2021-01-13 16:41:29 [INFO]	Start evaluating (total_samples=76, total_iters=76)...
 76/76 [==============================] - 2s 30ms/step - batch_cost: 0.0268 - reader cost: 1.7656e-
-2021-01-13 16:41:31 [INFO]	[EVAL] #Images=76 mIoU=0.8526 Acc=0.9942 Kappa=0.8283 
-2021-01-13 16:41:31 [INFO]	[EVAL] Class IoU: 
+2021-01-13 16:41:31 [INFO]	[EVAL] #Images=76 mIoU=0.8526 Acc=0.9942 Kappa=0.8283
+2021-01-13 16:41:31 [INFO]	[EVAL] Class IoU:
 [0.9941 0.7112]
-2021-01-13 16:41:31 [INFO]	[EVAL] Class Acc: 
+2021-01-13 16:41:31 [INFO]	[EVAL] Class Acc:
 [0.9959 0.8886]
 ```
 
@@ -454,8 +454,8 @@ output
 
 | 端侧         | 库           | 教程   |
 | :----------- | :----------- | :----- |
-| Python端部署 | Paddle预测库 | 已完善 |
-| 移动端部署   | ONNX         | 完善中 |
+| Python端部署 | Paddle预测库 | [示例](../deploy/python/) |
+| 移动端部署   | PaddleLite        | [示例](../deploy/lite/) |
 | 服务端部署   | HubServing   | 完善中 |
 | 前端部署     | PaddleJS     | 完善中 |
 
@@ -488,7 +488,7 @@ PaddleSeg
      ├──  paddleseg #训练部署的核心代码
               ├── core  
               ├── cvlibs #  Config类定义在该文件夹中。它保存了数据集、模型配置、主干网络、损失函数等所有的超参数。
-                      ├── callbacks.py 
+                      ├── callbacks.py
                       └── ...
               ├── datasets #PaddleSeg支持的数据格式，包括ade、citycapes等多种格式
                       ├── ade.py
@@ -514,8 +514,8 @@ PaddleSeg
               ├── transforms #进行数据预处理的操作，包括各种数据增强策略
                       ├── functional.py
                       └── transforms.py
-              └── utils 
-                      ├── config_check.py 
+              └── utils
+                      ├── config_check.py
                       ├── visualize.py
                       └── ...
      ├──  train.py  # 训练入口文件，该文件里描述了参数的解析，训练的启动方法，以及为训练准备的资源等。
@@ -525,4 +525,4 @@ PaddleSeg
 
 - 同学们还可以尝试使用PaddleSeg的API来自己开发，开发人员在使用pip install命令安装PaddleSeg后，仅需通过几行代码即可轻松实现图像分割模型的训练、评估和推理。 感兴趣的小伙伴们可以访问[PaddleSeg动态图API使用教程](https://aistudio.baidu.com/aistudio/projectdetail/1339458?channelType=0&channel=0)
 
-PaddleSeg等各领域的开发套件已经为真正的工业实践提供了顶级方案，有国内的团队使用PaddleSeg的开发套件取得国际比赛的好成绩，可见开发套件提供的效果是State Of The Art的。
+PaddleSeg等各领域的开发套件已经为真正的工业实践提供了顶级方案，有国内的团队使用PaddleSeg的开发套件取得国际比赛的好成绩，可见开发套件提供的效果是State Of The Art的。