diff --git a/README.md b/README.md index 7c14a4b7..5e184798 100644 --- a/README.md +++ b/README.md @@ -1,46 +1,51 @@ ![图片](docs/images/banner.png) -本项目为开源智能硬件项目-[xiaozhi-esp32](https://github.com/78/xiaozhi-esp32) -提供后端服务。根据[小智通信协议](https://ccnphfhqs21z.feishu.cn/wiki/M0XiwldO9iJwHikpXD5cEx71nKh)使用`Python`代码实现。 +本项目为开源智能硬件项目 [xiaozhi-esp32](https://github.com/78/xiaozhi-esp32) +提供后端服务。根据[小智通信协议](https://ccnphfhqs21z.feishu.cn/wiki/M0XiwldO9iJwHikpXD5cEx71nKh)使用`Python`实现。 ## 适用人群 -本项目需要配合esp32硬件设备配合使用,如果童鞋已经购买了esp32相关硬件,且成功对接虾哥部署的后端,并且想自己独立搭建 -`xiaozhi-esp32`后端服务的童鞋,可学习本项目。 +本项目需要配合esp32硬件设备使用,如果童鞋们已经购买了esp32相关硬件,且成功对接虾哥部署的后端,并且想自己独立搭建 +`xiaozhi-esp32`后端服务,可学习本项目。 要想完整体验本项目,需要以下总体步骤: -- 准备一套兼容`xiaozhi-esp32`项目的硬件设备,具体型号可[点击这里](https://rcnv1t9vps13.feishu.cn/wiki/DdgIw4BUgivWDPkhMj1cGIYCnRf)。 +- 准备一套兼容`xiaozhi-esp32` + 项目的硬件设备,具体型号可[点击这里](https://rcnv1t9vps13.feishu.cn/wiki/DdgIw4BUgivWDPkhMj1cGIYCnRf)。 - 拥有一台至少4核CPU 8G内存的普通电脑或服务器,运行本项目。部署后可以在控制台看到本项目服务的接口地址。 - 下载`xiaozhi-esp32`项目,把`接口地址`修改成本项目地址,然后编译,把新固件烧录到硬件设备上。 - 启动设备,查看电脑或服务器的控制台,如果看到日志,说明成功连到本项目的接口了。 ## 功能清单 + ## 已实现 -- 离线语音唤醒 -- 流式语音对话 WebSocket 协议 -- 支持国语、粤语、英语、日语、韩语 5 种语言识别 -- 自由更换 LLM(支持ChatGLM-4-flash(默认)、Dify、DeepSeek、) -- 自由更换 TTS(支持EdgeTTS(默认)、火山引擎豆包TTS ) + +- `xiaozhi-esp32` 通信 WebSocket 协议 +- 支持国语、粤语、英语、日语、韩语 5 种语言识别(FunASR(默认)) +- 自由更换 LLM(支持ChatGLM(默认)、Dify、DeepSeek) +- 自由更换 TTS(支持EdgeTTS(默认)、火山引擎豆包TTS) ## 正在实现 + - 打断对话 - 按键手动对话 - 长时间不聊天进入休眠状态 +- 对话记忆 ## 本项目依赖服务 -| 类型 | 服务名称 | 使用方式 | 收费模式 | 备注 | -|:----|:----------------|:----:|:--------|:-----------------------------------------------------------------| -| LLM | DeepSeek | 接口调用 | 消耗token | [点击申请密钥](https://platform.deepseek.com/) | -| LLM | ChatGLM-4-flash | 接口调用 | 免费 | [点击创建密钥](https://bigmodel.cn/usercenter/proj-mgmt/apikeys) | -| TTS | DoubaoTTS | 接口调用 | 消耗token | [点击创建密钥](https://console.volcengine.com/speech/service/8) | -| TTS | EdgeTTS | 接口调用 | 免费 | | -| VAD | SileroVAD | 本地使用 | 免费 | | -| ASR | FunASR | 本地使用 | 免费 | | +| 类型 | 服务名称 | 使用方式 | 收费模式 | 备注 | +|:----|:-----------|:----:|:--------|:-----------------------------------------------------------| +| LLM | DeepSeek | 接口调用 | 消耗token | [点击申请密钥](https://platform.deepseek.com/) | +| LLM | Dify | 接口调用 | 消耗token | 本地化部署 | +| LLM | ChatGLMLLM | 接口调用 | 免费 | [点击创建密钥](https://bigmodel.cn/usercenter/proj-mgmt/apikeys) | +| TTS | DoubaoTTS | 接口调用 | 消耗token | [点击创建密钥](https://console.volcengine.com/speech/service/8) | +| TTS | EdgeTTS | 接口调用 | 免费 | | +| VAD | SileroVAD | 本地使用 | 免费 | | +| ASR | FunASR | 本地使用 | 免费 | | # 部署方式 -本项目暂时只支持本地源码运行。未来将支持docker快速部署。 +本项目暂时只支持本地源码运行,未来将支持docker快速部署。 ## 本地源码运行 @@ -59,21 +64,25 @@ conda activate xiaozhi-esp32-server ### 2.安装本项目依赖 ``` +# 拉取本项目后进入本项目根目录 +cd xiaozhi-esp32-server +conda activate xiaozhi-esp32-server pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip install -r requirements.txt ``` ### 3.下载语音识别模型 -下载模型文件到`model/SenseVoiceSmall`目录下 -[SenseVoiceSmall](https://modelscope.cn/models/iic/SenseVoiceSmall/resolve/master/model.pt) +下载模型文件[SenseVoiceSmall](https://modelscope.cn/models/iic/SenseVoiceSmall/resolve/master/model.pt)到 +`model/SenseVoiceSmall`目录下 ### 4.配置项目 + 修改`config.yaml`文件,配置本项目所需的各种参数。默认的LLM使用的是`ChatGLMLLM`,你需要配置密钥,才能启动。 默认的TTS使用的是`EdgeTTS`,这个无需配置,如果你需要更换成`豆包TTS`,则需要配置密钥。 - 配置说明:这里是各个功能使用的默认组件,例如LLM默认使用`ChatGLMLLM`模型。如果需要切换模型,就是改对应的名称。 + ``` selected_module: ASR: FunASR @@ -81,17 +90,17 @@ selected_module: LLM: ChatGLMLLM TTS: EdgeTTS ``` + 比如修改`LLM`使用的组件,就看本项目支持哪些`LLM`,如下就是支持`DeepSeekLLM`、`ChatGLMLLM`。你们在`selected_module`修改成对应的LLM + ``` LLM: DeepSeekLLM: - model_name: deepseek-chat - url: https://api.deepseek.com - api_key: 你的deepseek密钥 + ... ChatGLMLLM: - model_name: glm-4-flash - url: https://open.bigmodel.cn/api/paas/v4/ - api_key: 你的bigmodel密钥 + ... + DifyLLM: + ... ``` 有些服务,比如如果你使用`Dify`、`豆包的TTS`,是需要密钥的,记得在配置文件加上哦! @@ -106,13 +115,18 @@ python app.py ### 6.编译esp32固件 - # 常见问题 + ## 1、TTS 经常失败、大模型反应慢 + 建议:如果`EdgeTTS`慢或经常失败,可以更换成`火山引擎的豆包TTS`,如果两个都慢,可能所处的网络环境需要优化一下。 + ## 2、大模型回复有点慢 + 建议:大模型和TTS都是依赖接口,如果网络环境不佳,可以考虑换成本地模型。或多尝试切换不同的接口模型。 -## 更多问题,可联系我们反馈 + +## 3、更多问题,可联系我们反馈 + ![图片](docs/images/wechat.jpg) # 鸣谢