硬件平台:嘉立创实战派
项目简介:在esp32-adf框架上编程,与火山引擎采用wedsocket协议API对接。
无需中转服务,esp32直接访问火山引擎服务器,
在实现过程中,因为esp32 adf 没有关于wedsocekt的流,所以我参考了HttP流,撰写了一个WedStream流,用于wedsocket协议的对接
项目功能:基于 ESP32、火山引擎的语音技术及大语言模型 API,开发了一款支持语音交互的 AI 聊天机器人。该机器人能够识别语音 命令,并可与智能家居系统及其他需要语音交互的场景进行对接。
技术要点:ESP32-adf 库开发、FreeRTOS 操作系统、WedSocket 通信协议、JSON 数据格式、MQTT
项目描述:
-
基于乐鑫的 ESP32-ADF 音频框架进行开发,利用 WebSocket 协议与火山引擎 API 实现实时数据交互。通过解析和发送 JSON 数据,实现语音识别和语音合成。
-
采用 FreeRTOS,管理语音识别、大语言模型对话和语音合成任务,实现有效的任务间通信。
-
通过流式传输技术优化性能,节约 RAM 内存,并显著提高语音处理速度。
-
通过 MQTT 协议接入 home assistant 平台,实现语音控制智能家居的功能。