Ameba-Claw AI Agent 框架
用对话轻松开发智能应用，全程在芯片上运行
概览
Ameba-Claw 是 Realtek 提供的，基于 Ameba AIoT SoC 的 AI Agent 框架。能够在 SoC 上实现完整的感知-理解-推理-执行 ReAct Agent 循环。 连接 Wi-Fi，配置 LLM API Key，即可通过微信、 Telegram、飞书、QQ 与 Agent 交互。 Agent 在运行时在线生成 Lua 脚本以扩展能力，无需重新编译固件——GPIO、音频、LCDC、USB 等硬件外设均可通过 IM 聊天脚本化控制。
相比 Openclaw 等通用 Linux 方案，Ameba-Claw 探索的是 Linux 无法下探的广阔地带：用 IoT 芯片的本职能力：低成本、低功耗、高集成、易定制，去承载 AI Agent， 让 Agent 从复杂昂贵的系统方案，变成真正可规模量产的、低成本的端侧智能。
硬件底座：为 Agent 而生的 RTL8721F
Ameba-Claw 的方案优势首先来源于硬件。端侧 Agent 需要什么？足够的内存承载上下文，足够的存储记录长期记忆， 丰富的外设去连接传感器和执行器，以及稳定的无线连接。这些不是"锦上添花"的配置，而是 Agent 能够在端侧发挥作用的必要条件。
RTL8721F 在设计上对齐了 Agent 的这几项核心诉求，在芯片底层做了合理的资源配平：
| 能力维度 | 行业常见做法或局限 | RTL8721F 方案 |
|---|---|---|
| 无线连接 | 仅 2.4G 单频，工业/商业场景易受干扰 | 双频 Wi-Fi 6（2.4G/5G），5GHz 频段保障复杂环境中的实时响应 |
| 运行内存 | 端侧方案多为低速、小容量 RAM，上下文窗口受限 | 高速 DQ16 PSRAM ，承载更大的系统提示词、记忆摘要与多轮对话历史。加速复杂 GUI 图形显示 |
| 存储扩展 | 仅 NOR Flash，日志和记忆空间易写满 | 支持 NOR 或者 NAND Flash，以及外置 SD 卡，为长期记忆、图片与日志提供充足空间 |
| 显示输出 | 需外接驱动或 SPI 模拟，占用 CPU 资源 | 内置 LCDC 硬件控制器 + MJPEG 解码 + PPE 图形引擎，UI 和监控画面直接显示，不额外占用算力 |
| 外部扩展 | USB 功能受限或仅设备模式 | USB 2.0 HS 主机 + 设备双模式，直连 UVC 摄像头、U 盘等标准外设，即插即用 |
Ameba-Claw 当前基于 RTL8721F 开发，框架本身设计为芯片可移植架构，未来将逐步拓展至更多 Ameba 系列 IC。
工作原理
用户通过 IM 渠道发送指令，芯片经由 Wi-Fi 接收后，自动组织上下文——包括长期记忆文件、会话历史、当前时间戳、 可用工具列表及 Lua Skill——然后发起 LLM API 请求。LLM 以 ReAct 循环方式完成多步推理与工具调用 （GPIO 控制、网络检索、Lua Skill、文件操作等），直至任务完成，最终将结果回传至消息来源。 上下文管理、记忆维护、工具执行全部在芯片本地完成，芯片直接与 LLM API 对接，无需云端网关中转。
核心特性
SOUL.md（人格与行为红线）、USER.md（偏好与权限）、MEMORY.md（结构化长期记忆摘要）持久化于本地 Flash。开发者可直接编辑，作为 Agent 长期上下文参与推理。NAND Flash 的支持让记忆可以长期累积。
通过 IM 发送自然语言指令，设备现场生成并执行 Lua 脚本。新能力像搭积木一样加载、卸载、组合，同一硬件在不同场景下切换身份。Lua 轻量级脚本引擎无需 Python runtime 那样的沉重开销。
Agent Loop 全程在芯片上完成，无需云端网关中转——用户的对话历史、工具调用记录、记忆文件等敏感数据均保留在本地 Flash，不上传至第三方平台。天然规避了云端 Agent 方案的数据泄露风险。
一套框架，多种前端：Telegram、飞书、微信（iLink）、QQ 及内置本地浏览器 WebIM。同一块芯片，不同渠道的消息进入同一个 Agent 循环处理，无需为每个平台分别写逻辑。
依托 RTL8721F 的 USB 2.0 HS Host，标准 UVC 摄像头即插即看、U 盘即插即存。相比 Linux 方案，不需要维护 V4L2 框架和复杂的 USB 驱动栈，RTOS 下直接操作，外设生态立即可用。
依托 RTL8721F 的丰富接口资源，原生支持 GPIO、UART、I2C、SPI、PWM、ADC、DAC、USB、LCDC 显示控制器等外设。Agent 在运行时可直接驱动各类传感器、执行器、摄像头、显示屏与存储设备。
系统架构
Ameba-Claw 采用分层架构设计，从硬件 SoC 到上层 Agent 应用，各层职责清晰：
- 应用层（App）：Ameba-Claw Agent 核心，包含 Memory Manager（记忆管理）、Lua VM（脚本运行环境）、Caps（工具集）、Scheduler（任务调度器）、IM（聊天软件），形成完整的感知-理解-推理-执行闭环。
- 服务层（Services）：OS 提供 RTOS 基础运行时；Net 封装双频 Wi-Fi 6 网络栈；IM 统一接入多平台即时通讯；Security 提供安全通道与密钥管理。
- 硬件层（SoC）：RTL8721F 提供双频 Wi-Fi 6、LCDC 显示控制器、USB 2.0 HS、丰富的 GPIO/I2C/SPI/PWM 外设接口，以及大容量 PSRAM 和 NOR / NAND Flash 支持。
应用 Demo
以下 Demo 展示了 Ameba-Claw 在不同场景下的能力：Ameba-Claw 演示合集
| Demo | 能力亮点 |
|---|---|
| USB 摄像头 + LCD 变化监控 | UVC 摄像头即插即用，LCD 实时显示并高亮标注画面变化，结合云端 LLM 视觉理解 |
| 局域网语音对讲机 | 微信发指令即时生成，UDP 自组网 + 麦克风/扬声器驱动，通电即对讲 |
| LVGL HMI 图形控制面板 | Agent 自动绘制 UI，手指滑块实时调光，UI 渲染到 PWM/I2C 硬件控制全链路闭环 |
| 2048 游戏 | Lua 运行时生成完整游戏逻辑，自适应不同分辨率屏幕渲染 |
推荐 IC 型号
| 功能 | 筛选 | RTL8720F | RTL8721F | RTL8721Dx | RTL8720E | RTL8710E | RTL8726E | RTL8713E | RTL8730E | RTL872xD | RTL8735B |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 应用处理器 | Cortex-M | Cortex-M | Cortex-M | Cortex-M | Cortex-M | Cortex-M | Cortex-M | Cortex-A | Cortex-M | Cortex-M | |
| DSP | N | N | N | N | N | Y | Y | N | N | N | |
| ISP | N | N | N | N | N | N | N | N | N | Y | |
| Arm TrustZone | Y | Y | Y | Y | N | Y | N | Y | Y | Y | |
| 双频 | N | Y | Y | N | N | N | N | Y | Y | Y | |
| Wi-Fi 6 | Y | Y | N | Y | Y | Y | Y | Y | N | N | |
| R-MESH | Y | Y | Y | N | N | N | N | N | N | N | |
| 超低功耗 | Y | Y | Y | N | N | N | N | N | Y | Y | |
| 以太网 | N | Y | N | N | N | N | N | N | N | N | |
| BT 双模 | N | N | N | N | N | Y | Y | Y | N | N | |
| HMI | N | Y | Y | Y | N | Y | Y | Y | N | N | |
| Audio ADC | N | N | N | N | N | Y | Y | Y | Y | Y | |
| Audio DAC | N | N | N | N | N | Y | Y | Y | Y | Y | |
| SDIO Host | N | Y | N | N | N | N | N | N | N | N | |
| SD/EMMC Host | N | Y | N | N | N | N | N | Y | Y | Y | |
| USB | N | Y | Y | N | N | N | N | Y | Y | Y | |
| BT 独立天线 | N | N | N | N | N | N | N | Y | N | N | |
| CAN | N | Y | N | N | N | N | N | N | N | N |
