本项目使用esp32接入讯飞星火大模型实现语音对话聊天功能，支持语音唤醒、连续对话、音乐播放等功能，同时外接了一块显示屏实时显示对话的内容。
1.进入讯飞开发平台主页（https://www.xfyun.cn/），注册账号，然后进入控制台，创建新应用。
2.开通相关服务：
- llm大模型服务：
- stt语音转文字服务：
使用vscode中的platformIO插件
ESP-WROOM-32、INMP441全向麦克风、MAX98357 I2S音频放大器模块、喇叭、1.8寸（128x160）RGB_TFT屏幕、面包板（400孔85x55mm）两块、面包板跳线若干、数据线一条
- 注意事项：其中ESP32需要安装相应的驱动程序
麦克风：
- VDD -> 3.3v
- GND -> GND
- SD -> GPIO22
- WS -> GPIO15
- SCK -> GPIO4
音频放大模块：
- Vin -> VIN
- GND -> GND
- LRC -> GPIO25
- BCLK -> GPIO26
- DIN -> GPIO27
1.8寸OLED屏幕：
- VDD -> VIN
- GND -> GND
- SCL -> GPIO18
- SDA -> GPIO23
- RST -> GPIO12
- DC -> GPIO16
- CS -> GPIO5
- 设置参考：
setup初始化：
- 初始化串口通信、引脚配置、屏幕显示、录音模块Audio1、音频输出模块Audio2。
- 初始化Preferences，调用wifiConnect()连接网络。
- 调用getTimeFromServer()从百度服务器获取当前日期和时间，然后调用getUrl()生成url和url1（分别用于星火大模型和语音识别的鉴权）。
- 如果网络连接成功，则开始对话；如果连接失败，esp32启动热点和web服务器。
loop循环：
- 轮询处理WebSocket客户端消息，检查和处理从服务器接收的消息、发送等待发送的数据，维护与服务器的连接。
- 如果有多段语音需要播放，调用voiceplay()函数播放后续的语音。
- 调用audio2.loop()确保音频流的连续和稳定播放。
- 没有音频播放时，熄灭板载LED；有音频播放时，点亮板载LED。
- 进入待机模式，启动唤醒词识别，可在onMessageCallback1()中自定义唤醒词。
- 检测到板载boot按键被按下时，连接WebSocket服务器1（语音转文字）并开启录音，在8秒内没有说话就会结束本轮对话，然后进入待机模式，启动唤醒词识别。如果有说话，录音结束后调用讯飞STT服务API接口将语音转文本。如果文本内容为空，回复“对不起，我没有听清，可以再说一遍吗？”；不为空时连接WebSocket服务器（大模型），将文本发送给星火大模型，然后接收大模型回复文本，并发送给百度的TTS服务转语音播放，同时在屏幕上显示对话内容。
- 检测到AI说话完毕后，自动连接WebSocket服务器1（语音转文字）并开启录音，后面的与上一条相同，实现连续对话功能。
ESP32连接网络后，进行语音唤醒或者按下板载的boot键即可开始对话。项目使用INMP441全向麦克风模块接受用户的语音输入，然后调用科大讯飞的STT服务API接口，将语音数据发送进行语音识别，接收返回的信息并提取出识别结果。接收到识别结果后，调用科大讯飞的星火大模型的API接口，将识别结果发送至大模型，由大模型给出回答后，从返回的信息中提取出回答内容，并发送给百度的TTS服务，最终输出语音回答。
网络连接通过读取ESP32 flash的NVS中存储的Wi-Fi信息实现。设备启动后开始联网时，板载LED会闪烁，屏幕显示相应的连接状态信息。esp32处于断网状态时，ESP32启动AP模式，创建临时网络热点ESP32-Setup（初始密码为12345678）。手机或电脑连接此网络后，浏览器访问http://192.168.4.1，出现配置网页界面，通过该网页界面，即可进行网络的配置。
配置界面包含以下功能：
- 输入目标Wi-Fi的SSID和密码后，点击Save按钮提交。如果Wi-Fi不存在，则添加到ESP32 flash的NVS中；如果存在，则修改密码。操作完成后，屏幕显示信息。
- 输入目标Wi-Fi的SSID后，按下Delete按钮，从ESP32 flash的NVS中删除Wi-Fi信息。操作完成后，屏幕显示信息。
- 点击List Wi-Fi Networks按钮，查看NVS中已存储的所有Wi-Fi信息。
音乐播放白嫖了网易云的音乐服务器，通过"https://music.163.com/song/media/outer/url?id=音乐数字id.mp3"即可访问音乐文件（vip音乐不支持）。
音乐播放通过读取ESP32 flash的NVS中存储的音乐信息实现。esp32处于断网状态时，ESP32启动AP模式，创建临时网络热点ESP32-Setup（初始密码为12345678）。手机或电脑连接此网络后，浏览器访问http://192.168.4.1，出现配置网页界面，通过该网页界面，即可进行音乐信息的添加与删除。
配置界面包含以下功能：
- 输入目标音乐的名称和数字id后，点击Save按钮提交。如果音乐不存在，则添加到ESP32 flash的NVS中；如果存在，则修改数字id。操作完成后，屏幕显示信息。
需要注意的点：比较长的音乐名建议不要写全，因为stt不一定识别的出来，可能只能识别出一部分，然后就是尽量不要写英文名称，因为英文识别准确率太烂了。还有就是差不多大小超过4MB的音乐播放到中间会重新开始播放，因为esp32的堆内存太小了，目前还不知道怎么解决。
- 输入目标音乐的名称后，按下Delete按钮，从ESP32 flash的NVS中删除音乐信息。操作完成后，屏幕显示信息。
- 点击List Saved Music按钮，查看NVS中已存储的所有音乐信息。
使用一块1.8寸（128x160）RGB_TFT屏幕显示用户与大模型的对话内容等信息
- 下载vscode和platformIO插件
- 注册讯飞账号，创建应用，开通相关服务
- 将项目克隆到本地，在vscode中打开，然后等待依赖库下载完毕
- 填写main.cpp中要求填写的讯飞账号参数
- 安装esp32的驱动
- 编译、烧录
