python目录下提供了一系列Python例程,具体情况如下:
序号 | Python例程 | 说明 |
---|---|---|
1 | vila.py | 使用SAIL推理 |
如果您在x86/arm平台安装了PCIe加速卡(如SC系列加速卡),并使用它测试本例程,您需要安装libsophon、sophon-opencv、sophon-ffmpeg,具体请参考x86-pcie平台的开发和运行环境搭建或arm-pcie平台的开发和运行环境搭建。
此外您还需要安装其他第三方库:
pip3 install -r python/requirements.txt
运行单芯模型使用v24.04.01驱动版本
您还需要安装sophon-sail,由于本例程需要的sophon-sail版本较新,相关功能还未发布,这里暂时提供一个可用的sophon-sail源码,x86/arm PCIe环境可以通过下面的命令下载:
pip3 install dfss --upgrade #安装dfss依赖
python3 -m dfss [email protected]:sophon-demo/Qwen/sophon-sail.tar.gz
tar xvf sophon-sail.tar.gz
参考sophon-sail编译安装指南编译不包含bmcv,sophon-ffmpeg,sophon-opencv的可被Python3接口调用的Wheel文件。
如果您使用SoC平台(如SE、SM系列边缘设备),并使用它测试本例程,刷机后在/opt/sophon/
下已经预装了相应的libsophon、sophon-opencv和sophon-ffmpeg运行库包。
此外您还需要安装其他第三方库:
pip3 install -r python/requirements.txt
由于本例程需要的sophon-sail版本较新,这里提供一个可用的sophon-sail whl包,SoC环境可以通过下面的命令下载
对于BM1684X:
pip3 install dfss --upgrade
python3 -m dfss [email protected]:sophon-demo/Qwen/sophon_arm-3.8.0-py3-none-any.whl #arm soc, py38
对于BM1688:
pip3 install dfss --upgrade
python3 -m dfss [email protected]:sophon-demo/vila/sophon_arm-3.9.0-py3-none-any.whl
如果whl包无法使用,也可以参考上一小节,下载源码自己编译。
注:
上述命令安装的opencv是公版opencv,如果您希望使用sophon-opencv,可以设置如下环境变量:
export PYTHONPATH=$PYTHONPATH:/opt/sophon/sophon-opencv-latest/opencv-python/若使用sophon-opencv需要保证python版本小于等于3.8。
python例程不需要编译,可以直接运行,PCIe平台和SoC平台的测试参数和运行方式是相同的。
vila1.5模型有vision_embedding和LLM模块,其中vision_embedding模块负责将图片转化为向量再和LLM生成的词向量combine起来,最终由LLM模块输出回答。
usage: vila.py [--llm LLM_BMODEL] [--vision VISION_BMODEL] [--video VIDEO] [--dev_id DEV_ID]
--llm: 用于推理的llm bmodel路径;
--vision: 用于推理的vision_embedding bmodel路径;
--video: 视频路径
--dev_id: 用于推理的tpu设备id;
必须在Vila目录下执行程序
python3 python/vila.py --llm ./models/BM1684X/llama_int4_seq2560.bmodel --vision ./models/BM1684X/vision_embedding_6batch.bmodel --video datasets/test_car_person_1080P.mp4 --dev_id 0
在Question for this video: 处进行提问,例如:Please describe this video。