大模型语音交互方案
大模型语音交互方案
端侧云端混合 AI 方案，连接本地高效与云端智能
概览
Realtek 提供了离在线结合的大模型语音交互的解决方案，通过本地芯片的高效语音处理与云端大模型的认知能力协同，提升了人机交互体验。
信号处理
AEC（回声消除）
线性消除+残留抑制双级处理，有效消除设备回声干扰，保障语音纯净度
BF（波束成形）
多麦克风阵列空间滤波技术，精准增强目标声源信号，提升语音信噪比
NS（噪声抑制）
支持传统信号处理与神经网络双模式，高效抑制噪声，适配复杂声学环境
AGC（自动增益控制）
固定增益+自适应调节，智能平衡语音幅值，确保输出信号强度稳定
SSL（声源定位）
利用麦克风阵列实现最高 360°全向定位，精准追踪说话人方位
语音识别
KWS（唤醒词检测）
-
支持固定唤醒词和用户自定义唤醒词，本地精准快速响应
VAD（语音端点检测）
-
准确检测语音或静音，提高识别可靠性
ASR（语音识别）
-
支持离线语音指令识别，可自定义命令词，实时响应本地控制
方案优势
高度可定制的本地语音交互
- 自定义唤醒词：支持用户级自定义唤醒词，个性化设备名称
- 自定义命令词：可通过专属配置平台自定义离线指令，实现快速产品化
- 快速部署：一键配置，快速适配不同产品形态和场景需求
高速稳定 Wi-Fi 赋能芯片语音交互
- 支持多种网络传输协议，适配不同云端服务商
- 高吞吐量和低延时，AI 应答快速响应
- 网络稳定性高，AI 对话更流畅
专业灵活的多媒体框架
- 支持多种格式音频播放
- 高品质音频，完美畅听体验
- 灵活多样的接口，兼容不同场景需求
典型应用
智能家居
- 本地快速响应设备控制，如灯光、窗帘、空调等
- 云端回复天气、菜谱、新闻等
智能玩具
- 本地快速响应设备控制，如播放、音量操作等
- 云端解答百科问题、讲故事等
会议系统
- 本地信号处理、降噪
- 云端转录会议内容、提炼大纲
智能家居
- 本地快速响应设备控制，如灯光、窗帘、空调等
- 云端回复天气、菜谱、新闻等
智能玩具
- 本地快速响应设备控制，如播放、音量操作等
- 云端解答百科问题、讲故事等
会议系统
- 本地信号处理、降噪
- 云端转录会议内容、提炼大纲
推荐 IC 型号
| 功能 | 筛选 | RTL8721Dx | RTL8720E | RTL8710E | RTL8726E | RTL8713E | RTL8730E | RTL8721F | RTL872xD | RTL8735B |
|---|---|---|---|---|---|---|---|---|---|---|
| 应用处理器 | Cortex-M | Cortex-M | Cortex-M | Cortex-M | Cortex-M | Cortex-A | Cortex-M | Cortex-M | Cortex-M | |
| DSP | ||||||||||
| ISP | ||||||||||
| Arm TrustZone | ||||||||||
| 双频 | ||||||||||
| Wi-Fi 6 | ||||||||||
| R-MESH | ||||||||||
| 超低功耗 | ||||||||||
| 以太网 | ||||||||||
| BT 双模 | ||||||||||
| HMI | ||||||||||
| Audio ADC | ||||||||||
| Audio DAC | ||||||||||
| SDIO Host | ||||||||||
| SD/EMMC Host | ||||||||||
| USB | ||||||||||
| BT 独立天线 | ||||||||||
| A2C |
