ESP32-S3-LCD-1.85-EchoEar 使用教程
产品介绍
EchoEar（喵伴）是乐鑫携⼿⽕⼭引擎扣⼦⼤模型团队打造的智能 AI 开发套件，适用于玩具、智能音箱、智能中控等需要大模型赋能的语音交互类产品。该设备搭载 ESP32-S3-WROOM-1 模组，1.85 寸 QSPI 圆形触摸屏，双麦阵列，支持离线语音唤醒与声源定位算法。结合火山引擎提供的大模型能力，喵伴可实现全双工语音交互、多模态识别与智能体控制，为开发者打造完整的端侧 AI 应用体验提供坚实基础。开发板的应用示例逐步开源在 ESP-Brookesia 工程中。
功能亮点
搭载 ESP32-S3 双核 Wi-Fi & BLE 模组
配备 1.85 英寸 360×360 QSPI 圆形触摸屏
集成 2 Mic 阵列，3W 扬声器
磁吸式 Pogopin 接口，支持拓展电机旋转底座
支持离线语音唤醒 + 声源定位算法（基于ESP32-S3 算法）
由火山引擎提供豆包大模型服务，支持智能对讲 + 情绪识别 + 长记忆库能力
开始使用
给设备供电
使用 USB-C 数据线给设备供电，如有电池，可直接按下设备底部的按键来开启/关闭设备。
设备启动后，屏幕会显示 “ESPRESSIF x 火山引擎” 联名的开机动画。
开始体验
开机动画结束后，设备默认进入 “AI 对话” 模式，屏幕会显示一个表情动画。AI 对话功能仅在此模式下才能进行。
如果此时设备还未连接过 Wi-Fi 网络，设备会以 20 秒时间间隔循环播报 “我还没有连接网络，请帮我配置网络”，并且屏幕上方会显示相应的 “Wi-Fi 连接” 动态图标。
长按屏幕，设备会进入 “系统 App” 模式，此时屏幕显示具有各种内置 App 应用的 “主界面”。
在 “主界面” 中点击 "Settings" App 图标，然后点击 “WLAN” 进入 Wi-Fi 配置界面。
（⚠️ Wi-Fi 配置页面不会在 5 秒无操作时自动返回 “AI 对话” 模式）
开启 WLAN 开关后，系统会扫描并显示 2.4GHz 可用网络。
点击目标网络并输入密码，连接成功后会语音播报：“网络连接成功”。
（⚠️ Wi-Fi 配置页面不会在 5 秒无操作时自动返回“AI 对话” 模式）
网络连接后，正常情况下，设备会依次播报：
“服务连接中，请稍后””[音频 1]
“服务连接成功”[音频 2]。
受网络波动影响，设备可能会循环播报几次【音频 1】，若【音频 2】长时间未播报，可能表示网络情况不佳，或预置智能体额度已用尽，如是后者请参阅 “开发者模式” 章节配置自定义智能体。（⚠️ 当服务连接成功时，由于不在 “AI 对话” 模式，此时设备提示‘’麦克风已关闭，AI 对话模式已禁用‘’ ）
点击屏幕底部滑条下方的区域并向上拖拽，即可退出 "Settings" App 并返回到 “主界面”。在此界面向上拖拽屏幕底部的滑条，可立即进入“AI 对话” 模式（或在主界面等待 5 秒，设备也将自动进入 “AI 对话” 模式的表情界面）。此时设备会提示“麦克风已开启，请说嗨乐鑫唤醒我哦”。此刻，您可说 ”嗨，乐鑫“、”你好，喵伴“ 将智能体唤醒并开启对话，对话过程中也可以用 ”嗨，乐鑫“ 、”你好，喵伴“ 来打断智能体的说话。
如需清除配网信息，进入 "Settings" App，点击 “Restore Factory” 将设备恢复至初始状态。当前设备的 BOOT 和 RST 按键位于底部黑色胶垫下方，如需开发使用，请撕开胶垫。
Function Calling
在 ”AI 对话“ 模式中，除了能够与智能体聊天外，您还可以通过对话进行如下“系统控制”功能：
打开设置 App/打开 2048 App/打开计算器
提高/减小音量
提高/减小亮度
退下吧
⚠️ 需注意以下几点限制：
当设备退出 “AI 对话” 模式（即不再显示表情动画时），AI 对话功能将自动关闭，并语音提示：“麦克风已关闭，AI 对话模式已禁用”。
重新进入 “AI 对话” 模式时，系统会自动重新开启语音识别，并提示：“麦克风已开启，AI 对话模式已开启”。此时，需通过语音唤醒词 “嗨，乐鑫” 再次激活智能体。
系统控制类语音指令（如调节音量、亮度，或打开设置 App）仅在设备角色设置为 “Lin Jia Nv Hai” 时可用。若切换为其他角色，上述功能将不可用。
当设备处于系统 App（如 “Settings”App）界面时，AI 对话功能将被暂停，此状态下无法通过语音指令关闭 App。因为 AI 对话仅在 “AI 对话” 模式（表情动画界面）下可用。
当用户使用自定义的 Key，那 “AI 表情” 功能与 “Function Calling” 功能都将无法使用。
智能体角色切换
设备内置了 "Lin Jia Nv Hai" 和 ”Wan Qu Da Shu“ 两种智能体角色类型，当服务连接成功后，您可以在 "AI Profile" App 中进行选择，退出 App 即可生效。此时，设备会重新连接服务并依次播报 ”服务已断开“、”服务连接中，请稍后“ 和 ”服务连接成功，请说嗨乐鑫唤醒我哦“。
开发者模式
设备为开发者提供了配置自定义 Coze Token 和智能体的方法，无需修改固件即可替换设备内置的参数。
前期准备条件：
搭建一个 AI 助手智能体， 在搭建智能体的 url 中获取 bot id。也可以直接复制一个智能体直接发布，如 聊天陪伴苏瑶 或者乐鑫官方的 喵伴对话智能体。
聊天陪伴苏瑶
喵伴对话智能体
⚠️ 自己搭建的智能体在发布的时候一定要勾选上"API" ，然后再发布。
获取 jwt 鉴权信息
为了保证 Token 的安全性，默认使用 JWT（JSON Web Token） 的鉴权方式。在进行鉴权时，您会获取以下信息：
public_key：用于验证 JWT 请求的公钥指纹。在请求过程中，系统会提供此指纹，它会只出现一次。为了保证安全性，公钥指纹需要妥善保存，避免泄露。
private_key.pem：用于生成 JWT Token 的私钥，您将用此私钥来签发 Token，确保只有持有私钥的服务可以生成有效的 Token。
appid：在进行 JWT 鉴权时，系统会返回的应用 ID，用于标识不同的应用或服务。
注意：
公钥指纹会仅返回一次，请务必在收到时立即保存。如果丢失，将无法验证 Token 的有效性。
私钥需要在设备端妥善管理，不得暴露给外部，确保鉴权的安全性。
⚠️ 获取 JWT 鉴权信息整体操作如下，请仔细看如下 gif 动图：
如果有更深入的 Coze 平台或商务相关问题，请加入飞书”实时对话式AI嵌入式交流群”进一步咨询。
设备端步骤如下：
进入 “系统 App” 模式并打开 "Settings" App，点击 "More" - "Developer Mode" 标签后设备进入 "开发者模式"。
使用 USB-C 数据线连接设备和电脑，此时设备会被模拟成一个 U 盘，您需要在 U 盘中构建 bot_setting.jso和private_key.pem 文件来进行配置。
打开 U 盘中原先的 bot_setting.json文件或者复制下方 JSON 文件模板新建一个 bot_setting.json文件，接着在 Coze 平台上找到 public_key、appid 和 bot_id，对应填入，其他项视情况修改。
public_key：JWT 鉴权时申请的公钥指纹，用于验证请求的合法性。
appid：JWT 鉴权成功后产生的应用 ID（即 appid），用于标识该应用。
bots：JSON 数组，包含智能体相关数据。可指定一个或多个智能体，配置其相关特性。
bot_name：智能体名称，显示在设备的 UI 上，用于标识该智能体。
bot_id：在构建 AI 助手时获取的唯一 bot ID，用于区分不同的智能体。
voice_id：智能体的声音 ID，参考系统音色列表获取具体声音类型。请注意设备端音色优先使用的是 JSON 文件里的 vioce_id。
description：智能体的描述信息，用于设备端展示，便于用户识别和使用。
把在 jwt 鉴权中获取到的 private_key.pem 文件放到所构建的 U 盘中。
构建好所需文件后，弹出 U 盘，点击屏幕下方的 "Exit and reboot" 按钮退出 ”开发者模式“。
设备重启后，您可以按照 ”智能体角色切换“ 章节查看自定义的角色信息。
常见 FAQ
设备提示“无效的配置文件”怎么办？设备网络连接成功，服务连接不成功怎么办？
答：请检查以下内容是否正确：
bot_setting.json 文件中是否正确填写了 public_key、appid 和 bot_id。
private_key.pem 是否已正确替换。
bot_setting.jsonJSON 文件的代码格式是否修改出错（比如多了符号、多了逗号等）
bot_setting.json和 private_key.pem 文件名是否正确（错误名比如 private_key.pem(3) 、bot_setting_Templete.json）
智能体发布失败怎么办？
答：如遇 Coze 平台相关问题，建议加入上方飞书群【实时对话式 AI 嵌入式交流群】获取进一步支持。
设备识别不到自己插入的 SD 卡，显示 “SD card not found, please insert a SD card!”怎么办？
答：请使用小于等于 32GB 的内存卡。
设备出现自动重启的情况怎么办？
答：请抓取异常现场的串口日志给我们分析，并描述所连接的路由器情况及周围网络环境（公司/家庭）。若异常可以稳定复现，请录制视频以便分析。
关于开发过程中遇到的问题，建议您通过以下渠道反馈，我们的工程师会尽快为您解答：
在 GitHub 提交 issue https://github.com/espressif/esp-brookesia/issues
也可前往技术论坛专属板块留言： https://esp32.com/viewforum.php?f=52
提示 “Token 已耗尽，AI 对话已暂停，请登录火山账号自行充值并配置” 怎么办？
答：由于喵伴定位为 AI 大模型开发板，而非终端产品或 AI 玩具，设备出厂软件仅提供 有限数量的 Token 供用户体验 AI 智能对话，用完后会有提示音提醒。
如果您使用的是 SD 卡自带的配置文件，说明开发板预设账号下赠送的 Token 已用完，请参考“开发者模式”章节，注册自己的账号并配置。
如果您使用的是 自行注册的账号，由于扣子个人账户仅赠送 500 个免费资源点，用完后需自行充值，以继续使用 AI 对话功能。
刷新喵伴，原来的 key 还能继续有效吗？
答：喵伴 SD 卡里预置的 key 仅适用于出厂固件，无法在用户自研固件中使用。您需要自行注册账号并完成配置。若更新至官方一键刷机地址中的固件，则仍可继续使用原有 key。
硬件概览
规格参数
开发资源
开源社区复刻资料（开发者版本）：https://oshwhub.com/esp-college/echoear
火山 WebSocket 接入 SDK：https://github.com/espressif/esp-adf/tree/master/examples/ai_agent/coze_ws_app
乐鑫全新音视频框架 ESP-GMF：https://github.com/espressif/esp-gmf
