Skip to content

Commit

Permalink
Merge pull request THUDM#1039 from ai-liuys/main
Browse files Browse the repository at this point in the history
feat: add bigdl-llm demo for intel device
  • Loading branch information
zRzRzRzRzRzRzR authored Apr 1, 2024
2 parents 2c469ef + 392edc6 commit 92aff98
Show file tree
Hide file tree
Showing 7 changed files with 990 additions and 1 deletion.
4 changes: 3 additions & 1 deletion Intel_device_demo/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,5 +10,7 @@
- 其他理论支持 OpenVINO 加速的Intel 工具套件。

## 2. 文件目录
- IPEX_llm_xxx_demo: IPEX-LLM 是一个为Intel XPU(Xeon/Core/Flex/Arc/PVC)打造的低精度轻量级大语言模型库,在Intel平台上具有广泛的模型支持、最低的延迟和最小的内存占用,实现加速模型部署示例。
- OpenVINO_demo: 使用 Intel OpenVINO 推理加速框架,实现加速模型部署示例。
- Pytorch_demo (暂未推出) : 使用 Intel Pytorch Extension 实现在 Pytorch 环境上开发(适用于 Intel Arc 系列 GPU)
- Pytorch_demo (暂未推出) : 使用 Intel Pytorch Extension 实现在 Pytorch 环境上开发(适用于 Intel Arc 系列 GPU)

Loading

0 comments on commit 92aff98

Please sign in to comment.