Skip to content

Commit

Permalink
feat: add bigdl-llm demo for intel device
Browse files Browse the repository at this point in the history
  • Loading branch information
ai-liuys committed Mar 26, 2024
1 parent 034cc38 commit 00b354e
Show file tree
Hide file tree
Showing 6 changed files with 934 additions and 1 deletion.
4 changes: 3 additions & 1 deletion Intel_device_demo/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,5 +10,7 @@
- 其他理论支持 OpenVINO 加速的Intel 工具套件。

## 2. 文件目录
- BigDl_demo: BigDL-LLM 是一个为Intel XPU(Xeon/Core/Flex/Arc/PVC)打造的低精度轻量级大语言模型库,在Intel平台上具有广泛的模型支持、最低的延迟和最小的内存占用,实现加速模型部署示例。
- OpenVINO_demo: 使用 Intel OpenVINO 推理加速框架,实现加速模型部署示例。
- Pytorch_demo (暂未推出) : 使用 Intel Pytorch Extension 实现在 Pytorch 环境上开发(适用于 Intel Arc 系列 GPU)
- Pytorch_demo (暂未推出) : 使用 Intel Pytorch Extension 实现在 Pytorch 环境上开发(适用于 Intel Arc 系列 GPU)

Loading

0 comments on commit 00b354e

Please sign in to comment.