基于 ESP32 和 Rust 的简易语音助手开发

• LRC：左声道/右声道时钟。
• BCLK：数据位同步。
• DIN：数据输入。
• VDD：电源输入，2.5V - 5.5V。

编写代码

创建项目

使用 cargo generate 快速生成模板：

cargo generate esp-rs/esp-idf-template

在 WSL 下烧录前，需在 Windows 上绑定 USB 设备：

# 查看设备
usbipd list

# 绑定并转移到 WSL
usbipd bind --busid=1-4
usbipd attach --wsl --busid=1-4

# 在 WSL 查看连接的设备
ls /dev/ttyACM*

连接 WiFi

ESP32 支持 STA 和 AP 模式。整体思路为启动 HTTP 服务提供配置页面，WiFi 同时启用 STA 和 AP，配置信息写入 NVS 以便下次自动连接。

// 创建 HTTP 服务
let mut server = EspHttpServer::new(&Configuration::default()).unwrap();
// 注册静态文件
server::register_static_files(&mut server).unwrap();
// 网络相关接口
server::network::register(&mut server, wifi.clone(), nvs.clone()).unwrap();

前端建议使用轻量版框架如 Petite-Vue 以减少体积。

WiFi 初始化代码示例：

fn init_wifi(wifi: &mut EspWifi<'static>, nvs: &EspDefaultNvs) -> anyhow::Result<()> {
    let ssid = Config::get_wifi_ssid(nvs);
    let password = Config::get_wifi_password(nvs);
    // 混合模式，同时支持 AP 和 STA
    let cfg = wifi::Configuration::Mixed(
        ClientConfiguration {
            ssid: ssid.as_str().try_into().unwrap(),
            password: password.as_str().try_into().unwrap(),
            ..Default::default()
        },
        AccessPointConfiguration {
            ssid: SSID.try_into().unwrap(),
            ssid_hidden: false,
            auth_method: AuthMethod::WPA2Personal,
            password: PASSWORD.try_into().unwrap(),
            channel: CHANNEL,
            ..Default::default()
        },
    );
    wifi.set_configuration(&cfg)?;
    wifi.start()?;
    if !ssid.is_empty() {
        log::info!("Wifi 连接中：{}", ssid);
        wifi.connect()?;
    }
    Ok(())
}

麦克风输入以及扬声器输出

使用标准 I2S 协议，芯片已封装好，调用 read 和 write 即可。

let std_config = StdConfig::new(Config::default(), StdClkConfig::from_sample_rate_hz(Self::SAMPLE_RATE), StdSlotConfig::philips_slot_default(DataBitWidth::Bits16, SlotMode::Mono), StdGpioConfig::new(false, false, false));
let mclk = AnyIOPin::none();
let mut i2s = I2sDriver::<I2sRx>::new_std_rx(i2s1, &std_config, bclk, sd, mclk, ws)?;

注意 SlotMode 应为 Mono，且采样率需与模型匹配。

调用模型

语音对话流程：STT（语音识别）-> LLM（语言模型）-> TTS（文本转语音）。STT 和 TTS 使用 Websocket，LLM 使用 HTTP。

SDK 默认未启用 Websocket，需在 sdkconfig.defaults 中开启：

CONFIG_HTTPD_WS_SUPPORT=y

HTTPS 和 WSS 的 TLS 配置

需启用 TLS，否则可能报错。建议配置全局 CA 存储：

let mut config = EspWebSocketClientConfig::default();
config.crt_bundle_attach = Some(esp_idf_svc::sys::esp_crt_bundle_attach);
config.use_global_ca_store = true;

需增加依赖：

[critical-section]
version = "1.1"
features = ["std"]
default-features = false

线程阻塞问题

处理 WebSocket 事件时，避免多个地方调用 rx.recv() 导致阻塞，可使用 embassy-sync 或循环加 try_recv。

loop {
    if let Ok(event) = rx.try_recv() {
        match event {
            WsEvent::ResultGenerated(text) => result.push_str(&text),
            _ => break,
        }
    }
    Timer::after_millis(100).await;
}

启用片外 RAM

ESP32-S3 内存较小，可通过启用 PSRAM 扩展。需在 sdkconfig.defaults 中启用：

CONFIG_SPIRAM=y
CONFIG_SPIRAM_MODE_OCT=y

注意启用 PSRAM 后 33-37 号 GPIO 不可用，否则可能导致重启。