2024年全国大学生FPGA创新设计竞赛-紫光同创赛道-赛题三
赛题介绍
题目：基于FPGA图像原型验证平台 导言：图像处理在医疗、车载及工业控制等各行业的应用日益广泛，图像处理芯片在各种差异化应用场景中也越来越多的被使用，在各类专用图像芯片设计前期需要对相应的算法模型在FPGA 中进行合理的定点量化及性能验证，本赛题要求参赛者使用FPGA 实现相关的图像原型验证及处理。
基础要求
1、能通过 HDMI、10/100/1000M 以太网、相机等任意一种或者多种接口作为图像输入 源输入数据，能通过 HDMI、LCD 屏、10/100/1000M 以太网等一种或者多种接口作 为输出端口，展示图像处理后的效果（10 分）；
2、参赛者可自行准备相关图像，对待识别图像进行相关预处理，如缩放、去噪等附加功能以提高检测率或减少系统资源的使用（10 分）；
3、 使用 FPGA 实现对指定数据集中（见提供的“数据包 1 检测算法数据”）目标的检 测，可使用传统方法（但不限于传统方法）选择一类目标进行检测和识别，测试通过目标检测率、检测延迟、系统逻辑资源、功耗、算法效率等打分（10 分）；
4、 使用传统方法或深度学习，对待检测标准形状物品进行长宽高或中心位置进行标注（5 分）。
加分项
1、移植深度学习的模型（如 YOLOv5 或 YOLOv8 等）在 FPGA 上实现对“数据包 1 检测 算法数据”（鉴于所提供的数据包样本数有限，参赛队可以使用其他公开数据集， 如 DOTA 数据集、COCO 数据集等）进行目标识别与检测，测试用数据以本赛题提供 的数据包 1 为主，参赛者同步展示其他 DOTA 数据集、COCO 数据集等测试结果，测试通过不同类型目标的检测率、检测延迟、系统逻辑资源、功耗、算法效率等打分 （30 分）；
2、使用双目摄像头拍摄现场人员（或者自行准备相关数据集，或提供的“数据包 2”）， 检测出数据包图像中的人物或者实时拍摄图像中的人员，并估计人物的景深（或者 到摄像头的距离），根据检测延迟、距离估计精度，系统逻辑资源、功耗等指标打分（20 分）；
3、采用多块 FPGA 开发板进行级联（原厂提供多块 FPGA 板卡 Serdes 级联基础方案）， 扩展跟多的输入端口，实现更高的识别效率及算力，根据算力、资源及功耗进行打分（10 分）；
4、其他图像处理能力或者算法（5 分）。
项目分析
项目整体有三大模块组成：图像数据输入模块，图像处理模块，图像输出模块
图像数据可以通过双目摄像头、HDMI、以太网、光纤（串口）、PCIE四种方式进行输入
图像处理算法需要包括：基于肤色的人物目标检测算法、基于脉动阵列的卷积加速器、YOLOv8的部分移植、图像去噪、图像缩放、图像拼接、亮度灰度调整等
图像输出方式：HDMI、以太网口传输、串口
题目分析：我们参考了往年比赛的赛题，发现本赛题与2023年集成电路创新设计大赛中紫光的赛题类似，要求大体一致，但是去年的题目是基于FPGA的图像采集和AI加速。两者在题目中均要求在FPGA上部署YOLO或者其他的深度学习模型和神经网络，但是为什么会有不一样的题目呢？我们认为今年的重心是在于图像原型验证，图像原型验证用通俗的话来说就是针对某一类事物进行识别，这才是今年我们认为的题目的关键所在。
思考：题目中要求我们针对某类事物进行识别，可以是神经网络也可以是采用传统方法。
三、项目提升方向
1、移植YOLOv3tiny到FPGA
2、拓展控制方式：串口屏
四、目前思考的方案
1、通过移植软核实现YOLOv3tiny部署、PGL50h无软核移植方案
2、串口屏网上资料很多
五、预期目标
1、实现YOLOv3tiny完整部署
2、实现第三种控制方式：串口屏
解决方案：
经过讨论，我们决定在开发板上移植软核实现YOLOv3tiny完整部署。
目前效果：
当前目标：
-
作品简介： 标题：基于FPGA的高效图像处理与目标检测系统 一、作品概述 本作品是一款基于FPGA的高效图像处理与目标检测系统。系统具备多种输入输出接口，能够灵活应对不同场景下的图像处理需求。通过移植深度学习模型和采用双目摄像头等技术，实现对多种目标的高精度检测与识别，同时具备良好的系统性能和功耗表现。 二、作品特点 - 多接口支持：作品支持HDMI、10/100/1000M以太网、相机等多种接口作为图像输入源，以及HDMI、LCD屏、10/100/1000M以太网等多种输出端口，满足不同场景下的图像处理需求。
- 图像预处理：参赛者对待识别图像进行缩放、去噪等预处理，提高检测率，降低系统资源消耗。
- FPGA目标检测：使用FPGA实现对指定数据集中的目标检测，采用传统方法进行目标识别，评分指标包括检测率、检测延迟、系统逻辑资源、功耗等。
- 标准形状物品标注：对待检测标准形状物品进行长宽高或中心位置标注，提高检测精度。
- 深度学习模型移植：成功移植YOLOv5或YOLOv8等深度学习模型至FPGA，实现对数据包1及其他公开数据集（如DOTA、COCO等）的目标识别与检测，评分指标包括检测率、检测延迟、系统逻辑资源、功耗等。
- 双目摄像头人物检测与景深估计：利用双目摄像头拍摄现场人员，实现人物检测及景深估计，评分指标包括检测延迟、距离估计精度、系统逻辑资源、功耗等。
- 多FPGA板卡级联：采用多块FPGA开发板进行级联，扩展输入端口，提高识别效率和算力，评分指标包括算力、资源及功耗。
- 其他图像处理能力或算法：作品具备其他图像处理能力或算法，进一步提升系统性能。 本作品凭借其强大的图像处理能力、高效的目标检测算法以及优异的系统性能，有望在本次比赛中取得优异成绩。我们团队将全力以赴，为我国图像处理领域的发展贡献力量。