乐鑫发布 ESP-Mosaico:让 AI Coding 突破硬件边界

乐鑫信息科技 (688018.SH) 正式推出 ESP-Mosaico,一款为 Coding Agent(代码智能体)设计的模块化开发板,支持多机拼接。面对不断变化的应用需求,创作者无需受限于固定的硬件形态,可以按需组合不同的硬件能力,并借助 Agent 持续开发和完善,让硬件形态与应用能力能够随产品需求不断扩展。

ESP-Mosaico 提供两种创作方式:Chat Coding 从自然语言需求出发,无需搭建开发环境,即可快速生成并运行硬件原型;Vibe Coding 则将 Agent 进一步接入开发、部署和真机验证,持续迭代应用,从原型走向完整产品。两种方式既可以独立使用,也可以根据开发阶段灵活选择,让创作者从一句需求开始,逐步完成原型开发、功能迭代,并最终将应用运行在真实设备上。

为什么推出 ESP-Mosaico?

AI 让软件可以根据需求快速生成和迭代,但硬件的能力和形态往往仍由固定的板卡与接口决定。每增加一种能力或改变一次产品形态,创作者都需要重新进行硬件选型、连接和驱动适配。当软件可以持续变化,硬件开发也需要具备更灵活的扩展方式,才能跟上应用需求的变化。

ESP-Mosaico 为创作者提供了一种更灵活的开发方式:功能模块可以按需接入,多台设备可以自由拼合,Coding Agent 也可以根据当前的硬件组合参与应用开发。创作者无需在开发初期就确定设备的最终形态,而可以随着应用需求的变化,持续增加硬件能力、组合模块并调整设备形态,让硬件与应用同步迭代。

这也是 ESP-Mosaico 名字的由来:Mosaico 意为“镶嵌画”,无数小块彼此拼合,最终组成一幅完整的作品。在 ESP-Mosaico 上,不同硬件模块与设备也可以自由组合,让能力随着应用需求不断扩展。

让硬件能力自由扩展

独立运行主机,承载完整应用

ESP-Mosaico 主机采用轻薄机身和高屏占比设计,搭载 480 × 480 OLED 触控屏,支持触摸反馈,并内置电池,可独立运行。OLED 像素自发光,能够呈现清晰细腻的画面,在深色界面下有助于降低显示功耗。主机配备 USB Type-C 双向供电接口,并提供双排 2.54 mm IO 引出接口,方便连接和扩展外部硬件。

主机以 ESP32-S31 为主控。这颗 RISC-V 架构芯片主频最高 320 MHz,内置 512 KB SRAM,并支持最高 32 MB 高速 DDR PSRAM,为图像处理、状态判断和实时交互等任务提供端侧计算能力。

硬件 JPEG 编解码和 DVP 摄像头接口,为取景、拍照和相册等图像应用提供专门通路;60 个可编程 GPIO,则为功能模块的持续扩展留出了空间。

同时,ESP32-S31 在芯片层集成 Wi-Fi 6、双模 Bluetooth 5.4 和 802.15.4,并支持 1 Gbps 以太网与 USB 2.0 高速 OTG 接口。经过板级设计、功能模块和系统软件,这些底层能力进一步转化为联网、设备配对、外设通信、电脑连接以及部署调试等产品能力。

功能模块,拓展感知反馈能力

ESP-Mosaico 将摄像头、传感器、按键、灯光、电机等能力封装为可组合的功能模块。接入受支持的模块后,系统可以自动识别并完成基础适配,开发者无需反复处理接线和底层驱动,即可根据应用需求自由组合。

从感知、输入到显示、执行,不同模块可以组合成完整的交互链路。例如,摄像头与按键可以组合成可编程相机,也可以根据不同需求扩展更多硬件能力。

部分功能模块的接入、识别与使用展示

多机拼接,拓展应用边界

ESP-Mosaico 的组合能力还可以从单台设备延伸到多台设备。多台主机可以识别彼此的相邻关系和姿态,并通过无线连接同步应用状态,让设备的拼合、分开和重新排列成为应用的一部分。

在跨屏游戏 Demo 中,不同设备可以分别呈现角色、地图和道具;同样的能力也可以用于信息面板等多屏交互场景。从一块屏幕到多块屏幕,设备的组合方式也成为创作的一部分。

多台 ESP-Mosaico 的相邻关系识别与跨屏交互

让 AI Agent 参与真实开发

Chat Coding:从一句需求开始完成硬件原型

Chat Coding 主要面向初次接触编程或 AI 编程的创作者。

ESP-Claw 是 ESP-Mosaico 内置的 Coding Agent,也是对话式创作的入口:创作者可以在主机屏幕上直接对话,也可以通过微信、QQ、飞书等社交软件与它交流。

创作者无需安装本地开发软件或配置工具链,只要描述出想实现的功能,ESP-Claw 就会结合当前设备和已接模块的能力生成应用,并部署到主机上运行;应用的生成与构建通过所连接的服务在云端完成;应用部署后,不依赖在线能力的界面、逻辑和外设控制都在主机本地运行。

例如,创作者可以告诉 ESP-Claw:“帮我写一个俄罗斯方块小游戏。”ESP-Claw 会自行在设备上编写并运行一个可以通过按键控制的俄罗斯方块小游戏。在第一个版本成功运行后,创作者可以继续提出修改,如调整方块下落速度、增加计分功能,或优化游戏界面等。通过不断迭代,创作者可以完成一个可运行、可交互的硬件原型,也在这个过程中了解如何表达需求、观察结果和调整方案。

通过 Chat Coding 生成俄罗斯方块小游戏

除了直接描述需求,创作者还可以选择在 Skills Lab 中使用已经封装好的 Skill。Skill 是可直接运行和分享的设备应用包,可以封装 Lua 脚本、静态资源和外设依赖,让成熟的应用能够直接安装到 ESP-Mosaico 上。

同时,创作者也可以将自己通过 ESP-Claw 完成的应用打包为 Skill,上传到 Skills Lab 与更多用户分享;对于支持二次创作的 Skill,还可以在原有应用基础上继续修改和扩展。

Skills Lab 与跨屏游戏 Skill 演示

Vibe Coding:从原型出发,持续开发迭代

ESP-Mosaico 针对 Vibe Coding 开发流程中 ID 设计、资源搜集、仿真、烧录调试的全流程进行优化,让创作者和 Agent 可以直接在真实设备上持续开发和验证。

  • 规范驱动的 UI 设计:ESP-Mosaico 将 UI 设计规范、组件规则、资源约束等沉淀为文档、参考设计和 Skill,为 Agent 提供明确的设计边界。开发者可以定义产品定位、交互和视觉规范,Agent 则在统一的屏幕尺寸、字体、布局和组件规则下生成界面,减少随机组合代码带来的不确定性。
  • 面向 AI 的高性能 UI 框架:ESP-Mosaico 基于预编译 UI 框架 ESP-GSP,Agent 可以通过结构化 JSON 描述界面,工具链在构建阶段检查控件错误和资源缺失,并提供明确反馈。UI 采用树状结构描述,便于 Agent 理解页面结构和开发者进行细节调整;同一套资源还可以先在 PC 端仿真,再部署到 ESP32 真机验证,减少反复烧录和调试的成本。
  • 多模态调试闭环工作流:ESP-Mosaico 通过 Wi-Fi / USB High-Speed 数据链路和统一接口,向开发者和 Agent 开放烧录、输入、设备控制和状态观测能力。设备可以将 UI、音频、触摸输入、性能指标和故障信息整理为结构化数据,Agent 据此执行自动化操作、分析运行结果并进入下一轮修复;配合可选 Test Dock,即使应用失去响应,也可以重新建立设备控制,继续完成真机验证。
  • 统一开发资源入口:ESP-Mosaico 提供初始代码仓库、BSP、软硬件原理图、通用 SDK、Agent References 和参考工程,为 Agent 提供开发所需的硬件上下文、接口信息和最佳实践。开发者使用常见的 AI 编程工具即可基于这些资源快速进入 ESP-Mosaico 开发流程。

在这些开发能力的支持下,Agent 可以持续围绕“修改代码—构建部署—运行测试—读取反馈—继续调整”的闭环持续迭代,开发者只需定义目标、安全边界和验收条件。

Agent 读取真机反馈持续自主调试平衡车

开放的 ESP 开发生态

AI 可以生成代码,但要让代码真正运行在硬件上,还需要芯片、驱动、协议栈、组件、构建工具和真实设备等完整的工程基础。

乐鑫已经建立了完整的 ESP 开发生态,包括 ESP-IDF、驱动和组件、技术文档、构建与调试工具、ESP Component Registry 以及丰富的社区项目。GitHub 上围绕 ESP32 和 ESP8266 的项目已超过 20 万个,相关书籍超过 300 本、以 10 余种语言出版。这些内容都可以通过检索、项目上下文和工具接口,成为 Agent 的工程依据。

从开放的工程资源,到真实设备的反馈,ESP-Mosaico 让 AI 硬件开发拥有了一套可以参考、调用和验证的基础。

第一次接触硬件编程的创作者,可以从 Chat Coding 开始;有明确产品目标的开发者,则可以通过 Vibe Coding,让 Agent 参与开发、测试与迭代。让软件里的想法连接硬件,让代码最终变成可以运行、验证和迭代的真实设备。

ESP-Mosaico 拥有丰富的开发资源。开发者可以访问 ESP-Mosaico 官方网站了解产品详情及相关开发资源,也可以将完成的应用通过 Skills Lab 分享给更多用户。

ESP-Mosaico 开发套件现已开放购买!如需了解更多产品信息,也欢迎联系乐鑫客户支持团队。

从 Chat Coding 到 Vibe Coding,从模块组合到 Agent 迭代,ESP-Mosaico 让创造的想象力不止停留在屏幕里。

相关推荐

乐鑫 ESP RainMaker® 系列文章

​乐鑫科技 (688018.SH) 的 ESP RainMaker 为构建物联网生态提供了一个完整的云解决方案,打通了底层硬件(芯片和模组)、软件生态(ESP-IDF 物联网操作系统、Matter、语音助手、HMI 等)、云后端(基于 AWS 搭建)、移动端 APP、设备管理看板全链路,建立了一套开放、灵活、可私有部署的云基础设施。客户无需额外开发与维护,就能够便捷地基于 ESP RainMaker 现有资源构建物联网产品,以较低的投资成本、较少的研发投入、较短的时间探索产品多样性,并实现迭代。

乐鑫 Espressif 1619

乐鑫 ESP-Mesh-Lite:轻松覆盖更大范围,连接更多设备

创新性的 Wi-Fi Mesh 组网方案,使设备数量和覆盖区域不再受路由器容量和位置限制。

乐鑫 Espressif 2105

乐鑫 Matter 系列文章

随着人们对智能家居互联协议 Matter 的热情日益高涨,乐鑫工程师推出 Matter 系列博客,从多方面介绍并讨论 Matter 协议。

乐鑫 Espressif 5663

ESP32 上的后量子密码学

 后量子密码算法现已标准化,用于保护联网设备抵御未来量子计算威胁。本文将介绍 esp-pqc 组件,该组件可为乐鑫 SoC 芯片引入 ML-KEM 与 ML-DSA 算法;同时展示 TLS 1.3 的实现方式以保障网络通信安全,以及 Secure Boot V2 实现固件完整性校验,并提供真实环境下的内存、闪存与性能基准测试数据。

乐鑫 Espressif 344

ESP RainMaker Matter Fabric :打造品牌 Matter 生态的一体化方案

基于 ESP RainMaker 构建支持 Matter 的品牌智能家居生态,同时保留品牌自有 App、用户账户及远程控制能力。

乐鑫 Espressif 307

在 Arduino 中使用 ESP_Video

本文介绍 ESP32 Arduino Core 中的 ESP_Video 库,说明基于 V4L2 风格的采集 API 如何用于 MIPI-CSI 和 DVP 摄像头接口,并依次介绍硬件配置、帧采集流程,以及如何在 ESP32-P4 和 ESP32-S3 开发板上运行官方示例。

乐鑫 Espressif 323

案例研究:基于 ESP32-C5 与 ESP RainMaker 构建符合 EN 18031 标准的 IoT 解决方案

乐鑫完成了 ESP32-C5 与 ESP RainMaker 设备到云方案的 EN 18031 网络安全与隐私评估。文章介绍该标准背景、制造商合规要点,以及 ESP32-C5 硬件安全能力(Secure Boot、加密存储)与 ESP RainMaker 云端能力(安全 OTA、TLS 认证、数据删除等)如何共同满足合规要求,为欧盟市场 IoT 产品提供参考。

乐鑫 Espressif 307

使用 ESP-DALI 组件构建互联照明系统

ESP DALI 组件基于 RMT 外设实现了一个符合 IEC 62386 标准的主设备 (master),支持设备调试配置 (commissioning)、调光、色彩控制、传感器接入,并可作为构建 Matter-to-DALI 网桥的 DALI 协议基础。

乐鑫 Espressif 140

引导程序也能安全 OTA:ESP-IDF 恢复机制详解

本文将介绍如何通过恢复引导程序 (Recovery Bootloader) 功能,安全地对引导程序 (bootloader) 执行 OTA 更新。

乐鑫 Espressif 353

乐鑫推出 ESP-Audio-Effects:让 ESP32 拥有专业级音频处理能力

为了帮助开发者更轻松地构建高品质音频应用,乐鑫信息科技 (688018.SH)  正式推出 ESP-Audio-Effects——专门面向 ESP32 系列 SoC 的专业音频效果处理库。

乐鑫 Espressif 414

ESP RainMaker Neo 正式开源

基于 AWS 无服务器架构,ESP RainMaker Neo 将云端、固件和移动端完整开源,为开发者提供可自主部署、灵活扩展的生产级 IoT 平台。

乐鑫 Espressif 448

ESP-GMF v1.0:通用多媒体框架首个正式版本发布

ESP-GMF v1.0 是乐鑫通用多媒体框架 (General Multimedia Framework) 的首个正式版本,这是一套轻量级、统一的框架,用于在乐鑫芯片上构建音频、视频与 AI 多媒体应用。本文将介绍此次发布的整体情况,逐一说明各组件领域的更新内容,并列出 v1.0 版本的完整组件清单。

乐鑫 Espressif 212

ESP-BSP Generator:从乐鑫开发板到自定义板卡的快速迁移

ESP-BSP Generator 是一款网页工具,可快速生成面向自定义 PCB 的板级支持包 (BSP)。开发者只需基于官方开发套件的 BSP 配置,通过表单自定义引脚和功能,即可生成量产级 BSP 组件。

乐鑫 Espressif 464

用 AI 开发 Zephyr-IoT 应用

本文介绍了将 AI 智能体协作流程应用于 Zephyr RTOS 开发 ESP DualKey 固件的实践经验。作者延续了之前 Rust 项目中的产品规格说明、开发流程和 Git 管理方式,重点关注如何将AI协作方法移植到 Zephyr 环境中。文章提出了四项 Zephyr 集成原则:充分利用Zephyr 原生功能、优先使用 OS 服务、采用标准发行版组件以及保持生态一致性。通过对比 Rust 项目的经验,作者总结了新的发现:AI加速编码过程但决策责任仍在开发者,需平衡速度与质量验证。

乐鑫 Espressif 423

ESP-Claw 全面升级,打造可共享、可复用的设备端 AI Skills 生态

ESP-Claw 全新升级版本新增 Skills Lab 技能商店、多 Agent 协同执行、增强的上下文管理、Lua 异步运行时、更丰富的外设支持以及在线刷机等能力,进一步提升 AI Agent 的开发效率、扩展能力与部署体验。

乐鑫 Espressif 492

ESP-Aliro 如何助力打造互联互通的智能门禁?

Aliro 为移动设备提供访问凭证能力,并与 Matter 协议兼容。乐鑫正式发布 esp-aliro SDK,为乐鑫芯片提供对Aliro 标准协议的支持。

乐鑫 Espressif 276

乐鑫推出全新 esp_trace 组件

esp_trace 是 ESP-IDF 全新推出的应用层 Trace(跟踪)组件,它将应用层 Trace 能力拆分为可插拔的 Encoder(编码器) 和 Transport(传输层)。这意味着,开发者在集成新的 Trace 工具时,无需再修改内核代码即可完成接入。

乐鑫 Espressif 356

乐鑫推出 ESP-VISION:开启低代码端侧 AI 视觉新开发体验

ESP-VISION 支持开发者通过 MicroPython 快速构建和部署端侧视觉应用。

乐鑫 Espressif 476

ESP32 解锁实时音视频能力!ESP-WebRTC 正式发布

面向 ESP32 系列 SoC 帮助开发者快速构建具备低延迟、高可靠性的音视频应用。

乐鑫 Espressif 485

H4、H21 助力 Bluetooth LE 应用快速落地!乐鑫推出无线串口通信方案

​ESP-BLE-UART 适配乐鑫全系支持 Bluetooth LE 的 SoC。其中,ESP32-H4 与 ESP32-H21 作为乐鑫新一代支持 Bluetooth LE 的 SoC,针对低功耗连接场景进行了优化,是构建无线串口、设备互联和现场调试应用的理想选择。

乐鑫 Espressif 459

ESP32-E22 获 Wi-Fi 6E 认证,开源 Linux 驱动同步发布

ESP32-E22 将为下一代消费电子与工业产品提供更强大、更可靠的无线连接基础。

乐鑫 Espressif 368

ESP-IDF Extension for VS Code:v2.1.0 有哪些新变化?

这一版本中最重要的变化,是引入了 Espressif Installation Manager (EIM)。EIM 是一个独立工具,用于统一 ESP-IDF 在各种工具与环境中的安装方式,并取代了扩展内置的安装向导。除此之外,扩展还新增了更深入的调试能力、AI 辅助工作流、原生 UI 升级,以及大量开发体验优化。

乐鑫 Espressif 636

ESP-IDF Tools 本地 MCP Server:通过 AI 助手构建、烧录与管理项目

ESP-IDF v6.0 引入了 Tools 本地 MCP Server,这一功能可让 Cursor、Claude Code 等 AI 客户端直接控制你的项目 —— 包括设置目标芯片、构建、烧录以及检查项目状态。本文将介绍其工作原理,并一步步带你完成配置。

乐鑫 Espressif 1844

一块 ESP32,能被 Claude 开发者玩出什么花样?

Claude 官方账号在 X 展示了一系列基于 ESP32 硬件的 AI Agent 开发作品。

乐鑫 Espressif 654

内存占用下降 99%,乐鑫 EAF 动画方案实现高帧率顺滑体验

乐鑫推出 EAF 动画方案,通过深度优化底层存储逻辑与渲染架构,为资源受限的嵌入式设备提供了一种兼顾高帧率与低内存占用的动画实现方式。

乐鑫 Espressif 571

ESP32-P4 芯片升级:性能与多媒体体验全面提升

我们邀请正在使用 ESP32-P4 进行开发或生产的用户尽快升级相关的软件与硬件设计。

乐鑫 Espressif 744

深入解析 ESP-Brookesia v0.7 全新架构

本文将介绍全新 ESP-Brookesia v0.7 架构,从 Utils、HAL、General Service 到 AI Agent 与 AI Expression,本文将系统阐述这些模块如何协同工作,并通过两个示例帮助开发者快速理解如何基于该框架构建 AIoT 交互产品。

乐鑫 Espressif 631

SPIFFS 组件介绍

​基于原始 SPIFFS 项目,ESP-IDF 中的 SPIFFS 组件为 SPI NOR Flash 提供了一个轻量级文件系统,使开发者可以直接使用熟悉的 C 语言和 POSIX 文件 API。

乐鑫 Espressif 422

乐鑫龙虾 ESP-Claw 来了!聊天就能开发智能设备

ESP-Claw 是面向物联网设备的智能体框架,以 Chat Coding 为核心理念,将 AI Agent 引入边缘设备,实现本地感知、推理与决策闭环。

乐鑫 Espressif 1173

使用 MCP 服务器,把乐鑫文档接入 AI 工作流

开发流程从“人工查询 + 手动实现”,升级为“AI 主动检索 + 辅助执行”。提供持续、实时的官方文档支持。

乐鑫 Espressif 3311
上一篇: 引导程序也能安全 OTA:ESP-IDF 恢复机制详解
下一篇: 使用 ESP-DALI 组件构建互联照明系统
乐鑫科技 Espressif
乐鑫科技 Espressif 企业官方账号 企业官方账号
博客等级 码龄9年 3994粉丝 287原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值