H_X-NKU-project-experience

本项目主要研究多模态感知融合系统中核心的一些功能，包括图像处理和多模态融合。

这个项目记录了笔者在南开大学人工智能学院机器人与信息自动化研究所的经历和个人项目。

主要是研究多模态融合的图像处理和基础平台开发，以及算法的选型实现。

在期间，参加了与301医院（中国人民解放军总医院），哈工大，浙大，南开AI学院一同合作的人工耳蜗手术项目。我们主要负责虚拟仿真手术的相关方面研究。使用多模态感知融合系统的近景系统做实验。实验内容包括：

1，对人头的耳蜗进行七步解剖，使用近景系统完成realsense数据采集，近景双目相机的数据采集；

2.进行三维重建。生成动画过程以用于术前讨论和指导，以及实验的教学工作。

3.在算法部分中，使用AI 机器学习算法（包括经典学习算法和深度学习等），使用到VIO技术中，进行三维重建的优化，拓展研究SLAM技术和VINS系统。

在前期也做了一些基于stm32板子开发全地形车的项目。在windows系统下使用 c/c++开发

客户端:

1\建立代码

1.1初始化ros结点

1.2创建client实例

1.3发布服务请求数据

1.4等待server处理之后的结果

2设置编译规则

3catkin_make执行

服务端:

1代码实现

1.1\初始化ros结点

1.2\创建server实例

1.3\循环等待服务请求,进入回调函数

1.4\处理回调函数,返回应答数据

2设置编译规则

3运行