mirror of https://github.com/78/xiaozhi-esp32.git synced 2026-07-20 09:45:55 +00:00

Files

T

0f6c435f66 Complete ESP-IDF 6 migration hardening (#2123 )

* Complete ESP-IDF 6 migration hardening

* Fix PR variant diff selection

* Allow Git diff in CI container

---------

Co-authored-by: Xiaoxia <terrence.huang@tenclass.com>

2026-07-17 16:32:44 +08:00

9.9 KiB

Raw Permalink Blame History

An MCP-based Chatbot

（中文 | English | 日本語）

介绍

👉 人类：给 AI 装摄像头 vs AI：当场发现主人三天没洗头【bilibili】

👉 手工打造你的 AI 女友，新手入门教程【bilibili】

小智 AI 聊天机器人作为一个语音交互入口，利用 Qwen / DeepSeek 等大模型的 AI 能力，通过 MCP 协议实现多端控制。

近期更新

项目主线现已迁移到 ESP-IDF v6.0 或以上版本，首选稳定版为 v6.0.2；完整的 157 个发布变体已在 ESP-IDF v6.0.1 上通过构建验证。
MQTT 和 BluFi 加密已迁移到 PSA Crypto，同时完成了 IDF 6 组件拆分及第三方依赖兼容处理。
加固了音频流水线并发、MQTT/UDP 数据包校验和发布矩阵选择逻辑。
ESP-IDF v5.5 仅保留用于旧版硬件兼容，包括 ESP32-P4 v3 之前的芯片版本。完整兼容性和板卡验证状态请参阅 ESP-IDF 6.0 迁移文档。

已实现功能

支持 Wi-Fi、有线以太网、USB RNDIS，以及 ML307/EC801E 或 NT26 Cat.1 4G 网络；部分硬件支持 Wi-Fi 与 4G 切换
基于 ESP-SR 的离线语音唤醒，支持自定义唤醒词
支持两种通信传输方式：WebSocket 和 MQTT + UDP
采用 Opus 音频流，既支持传统的流式 ASR + LLM + TTS 方案，也支持 Realtime 端到端语音模型；具备 AEC 的硬件可实现实时全双工交互
声纹识别，识别当前说话人的身份 3D Speaker
OLED / LCD 显示屏，支持表情和丰富的情绪呈现；部分硬件支持摄像头视觉输入
电量显示与电源管理
提供 38 种界面语言；语音提示优先使用本地化资源，缺失时自动回退到英文
支持 ESP32、ESP32-C3、ESP32-C5、ESP32-C6、ESP32-S3、ESP32-P4 芯片平台
支持热点、声波和 BluFi 三种 Wi-Fi 配网方式
通过设备端 MCP 实现设备控制（音量、灯光、电机、GPIO 等）
通过云端 MCP 扩展大模型能力（智能家居控制、PC桌面操作、知识搜索、邮件收发等）
自定义唤醒词、字体、表情与聊天背景，支持网页端在线修改 (自定义Assets生成器)