xiaozhi-esp32
运行在 ESP32 微控制器上的 MCP 协议语音聊天机器人,支持离线唤醒、流式 ASR + LLM + TTS 全链路语音交互,可控制智能家居、PC 桌面等设备。
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
运行在 ESP32 微控制器上的 MCP 协议语音聊天机器人,支持离线唤醒、流式 ASR + LLM + TTS 全链路语音交互,可控制智能家居、PC 桌面等设备。
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
想象一下,你对着一块电路板说「小智,今天天气怎么样」,它不仅能联网查询信息,还能控制你家里的灯、播放音乐、甚至帮你查邮件——这不是科幻电影里的机器人管家,而是一个真实存在于 GitHub 上的开源项目。
小智 AI(XiaoZhi) 是一款运行在 ESP32 微控制器上的 MCP 协议语音聊天机器人,在 GitHub 上已积累超过 26,700 颗星、近 5,900 个分支,是当前最热门的 AI + 嵌入式结合的开源项目之一。
小智的开发者网名叫 78(GitHub ID: 78),项目的核心灵感来源于一个朴素的疑问:能否把大模型的 AI 能力,通过 MCP(Model Context Protocol)协议,下沉到资源极度受限的微控制器上?
传统的语音助手(如 Alexa、Siri)依赖云端处理,用户隐私数据必须上传到服务器。而小智 AI 的设计哲学恰恰相反——它是一台真正的本地设备:
MCP(Model Context Protocol)是 Anthropic 主导推出的模型上下文协议,旨在让 AI 模型能够标准化地调用外部工具。小智 AI 在这个协议上做了双向延伸:
在 ESP32 固件中运行了一个 MCP 服务器,可以控制:
换句话说,AI 大脑通过 MCP「长出」了真实的物理触手,可以直接操控硬件。
配合 MCP 客户端扩展,AI 模型的能力被进一步放大,可以:
这种「小设备 + 大模型 + MCP 工具链」的架构,代表了 AI 从云端向边缘侧下沉的重要方向。
小智支持 ESP32-C3、ESP32-S3、ESP32-P4 三大芯片平台,官方推荐的入门硬件方案包括:
此外,项目支持超过 70 种开源硬件,包括 LILYGO T-Circle-S3、SenseCAP Watcher、ESP-HI 低成本机器狗等,社区硬件适配非常活跃。
入门门槛也大幅降低——即使没有嵌入式开发经验,借助飞书知识库教程,也可以用面包板 + 杜邦线 DIY 一台基础版小智。
项目完全基于 ESP-IDF v5.0+ 框架,使用 C++ 开发,代码结构清晰:
main/
├── application.cc # 应用主逻辑,状态机控制
├── device_state_machine.cc # 设备状态管理
├── mcp_server.cc # MCP 协议服务端实现
├── ota.cc # OTA 无线固件升级
├── settings.cc # 配置管理
├── audio/ # 音频处理(编解码、流式传输)
├── display/ # 屏幕驱动与 UI 渲染
├── led/ # LED 控制
├── protocols/ # 通信协议(WebSocket / MQTT+UDP)
└── boards/ # 硬件板级支持包(BSP)
项目使用 CMake 构建系统,Kconfig 配置菜单(熟悉 Linux 内核开发的工程师会感到非常亲切),idf_component.yml 接入 ESP-IDF 组件管理器。代码遵循 .clang-format 格式化规范,整体工程化程度较高。
Speaker Recognition(说话人识别)功能引入了 ModelScope 3D-Speaker 模型,可以识别当前说话人的身份,实现「谁在说」的精准判断,为多用户场景提供了基础。
这是本报告需要诚实指出的一个挑战:小智 AI 并不适合「一键部署」。
由于是嵌入式固件项目,你需要:
对于有嵌入式开发经验的工程师,以上步骤约需 1-2 小时;对于纯软件背景的开发者,可能需要 半天到一天的时间来熟悉 ESP-IDF 环境。
但好消息是:项目维护者提供了详细的固件烧录文档,社区也积累了大量的视频教程(尤其是 B 站上有非常完整的中文入门指南)。固件支持 OTA 无线升级,后续更新无需重新接线刷写。
任何项目都有其局限性,小智也不例外:
小智 AI 最有价值的地方,不在于它本身有多强大,而在于它代表了一种AI Native 硬件的设计思路——不是把 AI 能力简单包装成 App,而是让硬件真正具备「理解意图、执行动作」的能力。
从增长曲线看,这类项目正在快速增长:边缘 AI 芯片(ESP32-P4、树莓派 RP2350)性能提升、MCP 协议生态扩大、大模型 API 成本持续下降,三个趋势叠加,让「本地小设备 + 云端大模型」的组合越来越可行。
如果你对 AI + 硬件交叉领域感兴趣,小智是一个非常值得研究的起点——它的代码开源、文档详细、社区活跃,而且上手门槛已经降到了历史最低。
项目主页:https://xiaozhi.me GitHub:https://github.com/78/xiaozhi-esp32 自定义资源生成工具:https://github.com/78/xiaozhi-assets-generator