readme_zh.md

ESP-AI

硬件接入AI最简单、最低成本的方案
The simplest and lowest cost solution for any item to access AI

Changelog · 中文文档 · English Docs

English

为你的开发板提供全套的AI对话方案，包括但不限于 ESP32 系列开发板的 IAT(ASR)+LLM+TTS 集成方案。依赖式注入到项目，不影响现有项目。

对于开发机器人的对话功能，您仅需准备好 IAT(ASR)、LLM、TTS 服务，其他的事情交给 ESP-AI。

本项目服务端代码基于 Nodejs，硬件代码基于 Arduino/IDF。

开源不易，右上角点个 Star 支持一下下吧 ~

🖥 网站主页

• 中文文档
• English

✨ 特性

• ✔️ 可定制的离线语音唤醒词，且内置多种唤醒方式（语音、按钮、串口、天问asrpro）
• ✔️ 完整对话链接 IAT(ASR) ➡️ LLM/RAG ➡️ TTS
• ✔️ TTS/LLM 都做了快速响应算法，在考虑服务费用的基础上尽力以最快速度响应用户
• ✔️ 支持会话打断
• ✔️ 用户指令识别(家电控制、唱歌等)，并且可以根据上下文动态响应指令
• ✔️ 配置化
• ✔️ 插件化，可以利用插件接入任何LLM/TTS/IAT
• ✔️ 服务与客户端为一对多关系，并且可以为每一个客户端(硬件)独立分配一套配置
• ✔️ 连接支持鉴权
• ✔️ 全链流式数据交互
• ✔️ 开发者平台提供：免费服务、可视化配置 ...
• ✔️ 客户端配网页面提供
• ✔️ 轻松应付大并发场景(需配合Nginx做负载均衡)
• ✔️ 开箱即用

🧐 下一步

• 🤔 内置离线唤醒精准度提升(目前建议使用天问asrpro)
• 🤔 唤醒词在线生成
• 🤔 其他语言编写插件的方法（避免只能使用nodejs进行开发插件）
• 🤔 提供专用开发板（避免当前的复杂接线）

📦 安装

服务端

docker run -itd -p 8080:8080 -v /esp-ai-server/index.js:/server/index.js --name esp-ai-server registry.cn-shanghai.aliyuncs.com/xiaomingio/esp-ai:2.0.0

客户端

在发布页面下载依赖后烧录到开发板中即可，详情见：客户端安装

🔨 仅几行代码为您的机器人注入灵魂

下面分别展示在只需要对话的情况下，你需要写的Node.js和Arduino代码。

📜 商业使用

商业使用请购买商业授权，详情见 商业授权
商用授权单位为 公司名称+产品名称+版本 , 例如： 深圳XXX公司智能玩偶V1.0。
单个产品版本的商业许可费用为 10000 人民币，需一次性支付。

授权查询/举报地址：见 https://espai.fun/commercial-license.html

🏪 交流群

QQ 交流群: 854445223

🎥 案例视频

bilibili

🤝 贡献

让我们一起打造一个更好的 esp-ai。

我们热忱欢迎大家踊跃投稿。请随时通过Pull Requests或GitHub Issues分享您的想法。

🌍 Star 地理分布

引用

如果本项目有帮助到您的研究，请引用我们：

@software{ESP-AI,
    title        = {{ESP-AI}},
    author       = {小明IO},
    year         = 2024,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {\url{https://github.com/wangzongming/esp-ai}}
}