一、简介：为什么要在实时 Linux 上做'语音下发指令'？
- 工业现场双手沾油、戴手套，传统 HMI 按键效率低。
- 语音是'非接触式'最安全的人机交互方式之一。
- 云端 API 延迟 1-2 s，无法满足'急停''复位'等安全命令 <300 ms 的要求。
- 本地部署轻量 ASR（Whisper Tiny）+ 优化 VAD，在 PREEMPT_RT 内核上实现： '说话 → 解析 → PLC 写寄存器'端到端 <300 ms，且硬实时线程抖动 <50 μs。
二、核心概念：5 个关键词先搞懂
| 概念 | 一句话 | 本文对应 |
|---|---|---|
| VAD (Voice Activity Detection) | 检测人声起止，减少无效音频送入 ASR，降低延迟 | 自研能量 + 过零率，≤10 ms 窗口 |
| Whisper Tiny | 39 M 参数，CPU 实时推理 <80 ms (x86_4C) | ONNXRuntime + quant |
| PREEMPT_RT | Linux 实时补丁，任务切换延迟 <50 μs | 5.15-rt 内核 |
| 端到端 E2E Latency | 人声结束 → PLC 收到指令时间 | 目标 ≤300 ms |
| 硬实时线程 | SCHED_FIFO + 优先级 95，负责 VAD 与 PLC 写寄存器 | 避免被非实时任务抢占 |
三、环境准备：10 分钟搭好'实时语音'实验台
1. 硬件
- x86_64 工控机 ≥4 核 8 GB，自带模拟音频输入
- 普通 USB 耳机即可（48 kHz 16 bit）
2. 软件 & 版本
| 组件 | 版本 | 安装命令 |
|---|---|---|
| OS | Ubuntu 22.04 | — |
| 实时内核 | 5.15.71-rt53 | 见下文脚本 |
| Python | 3.9+ | sudo apt install python3.9-venv |
| ONNXRuntime | 1.15.0 | pip install onnxruntime==1.15.0 |
| Whisper Tiny ONNX | 量化 int8 | 下文自动下载 |
| PLC 通讯 | python-snap7 | pip install python-snap7 |
3. 一键装 RT 内核
#!/bin/bash
# install_rt.sh
VER=5.15.71
RT_PATCH=patch-5.15.71-rt53.patch.xz
wget https://kernel.ubuntu.com/~kernel-ppa/mainline/v${VER}/linux-image-*${VER}*rt53*.deb
sudo dpkg -i linux-*.deb
sudo update-grub && sudo reboot
重启后验证：
uname -r # 5.15.71-rt53
四、应用场景
某汽车零部件车间，操作员需频繁切换'加工模式/急停/复位'三种状态。原 HMI 为 7 寸触摸屏，油污 + 手套导致误触率高，且急停按钮分布较远。引入语音控制后：
- 操作员说出'急停' → 2 米外拾音器采集音频。
- 本地工控机（实时 Linux）VAD 10 ms 内检出人声结束，立即送入 Whisper Tiny。
- ASR 输出文本'急停'，硬实时线程 80 ms 内完成拼音模糊匹配，确认可信度 >0.9。
- 同线程通过 EtherCAT 写 PLC 安全字，触发 STO（Safe Torque Off），端到端 220 ms。
- 系统同时 TTS 播报'急停已触发'，形成听觉闭环。
结果：单台设备年节省停机 18 小时，误触率下降 90%，且满足机械安全标准 ISO 13849-1 的反应时间要求。
五、实际案例与步骤：从'录音'到'PLC 写寄存器'
5.1 总体流水线
音频流 → VAD(Window 10 ms) → 语音结束 → Whisper Tiny → 文本匹配 → PLC 写寄存器(SCHED_FIFO)
5.2 步骤 1：采集与 VAD（实时线程）
这里使用 C 编写一个 SCHED_FIFO 线程，周期 10 ms，直接操作 ALSA 设备。
// vad_rt.c - SCHED_FIFO 线程，周期 10 ms
#define _GNU_SOURCE
#include <pthread.h>
#include <alsa/asoundlib.h>
#include <math.h>
#include <unistd.h>
#define FRAME_LEN 480 // 48 kHz * 10 ms
static short buffer[FRAME_LEN];
void* vad_thread(void *arg){
pthread_setname_np(pthread_self(), "vad_rt");
snd_pcm_t *pcm;
snd_pcm_hw_params_alloca(&hwparams);
snd_pcm_open(&pcm, "default", SND_PCM_STREAM_CAPTURE, 0);
snd_pcm_hw_params_set_access(pcm, hwparams, SND_PCM_ACCESS_RW_INTERLEAVED);
snd_pcm_hw_params_set_format(pcm, hwparams, SND_PCM_FORMAT_S16_LE);
snd_pcm_hw_params_set_rate(pcm, hwparams, 48000, 0);
snd_pcm_hw_params_set_channels(pcm, hwparams, 1);
snd_pcm_hw_params(pcm, hwparams);
while (1) {
snd_pcm_readi(pcm, buffer, FRAME_LEN);
float energy = 0;
for (int i = 0; i < FRAME_LEN; i++)
energy += buffer[i] * buffer[i];
energy = sqrt(energy / FRAME_LEN);
if (energy > 500) { // 简单能量门限
// 通知主线程开始累积
write(vad_pipe[1], &energy, sizeof(float));
}
}
return NULL;
}
编译并设置优先级：
gcc vad_rt.c -o vad_rt -lasound -pthread -Wall
sudo chrt -f 95 ./vad_rt # 手动赋 FIFO 95
5.3 步骤 2：Whisper Tiny ONNX 推理（Python，普通优先级）
ASR 部分对实时性要求稍低，可用 Python 处理，重点在于模型加载和重采样。
# asr.py
import numpy as np
import onnxruntime as ort
from fuzzywuzzy import fuzz
MODEL = "whisper-tiny-int8.onnx"
ort_sess = ort.InferenceSession(MODEL)
CMD_LIST = ["急停", "复位", "加工模式"]
def audio_to_text(pcm_data: np.ndarray) -> str:
# 16 kHz 重采样 & 2560 点输入
pcm_16k = np.interp(np.linspace(0, len(pcm_data), 2560), np.arange(len(pcm_data)), pcm_data)
input_dict = {"audio": pcm_16k.astype(np.float32)[None, :], "length": np.array([2560], dtype=np.int32)}
text = ort_sess.run(None, input_dict)[0][0].decode()
return text
def match_command(text):
scores = [fuzz.ratio(text, cmd) for cmd in CMD_LIST]
idx = np.argmax(scores)
return CMD_LIST[idx] if scores[idx] > 80 else None
5.4 步骤 3：硬实时 PLC 写寄存器线程
关键的安全指令写入必须放在高优先级线程中，确保不被调度延迟影响。
// plc_rt.c - SCHED_FIFO 97
#include <sched.h>
#include <sys/mman.h>
#include <snap7.h>
#include <stdint.h>
void* plc_thread(void *arg){
pthread_setname_np(pthread_self(), "plc_rt");
mlockall(MCL_CURRENT | MCL_FUTURE);
S7Object client = Cli_Create();
Cli_ConnectTo(client, "192.168.1.10", 0, 1); // PLC IP
while (1) {
char cmd[32] = {0};
read(plc_pipe[0], cmd, sizeof(cmd));
if (strcmp(cmd, "急停") == 0) {
uint8_t buffer = 1;
Cli_WriteArea(client, S7AreaDB, 1, 0, 1, S7WLByte, &buffer);
}
}
return NULL;
}
5.5 步骤 4：端到端延迟实测
# 终端 1：录制 + 时间戳
arecord -D plughw:1,0 -f cd -t wav | \
sox -t wav - -t raw - | ./vad_rt
# 终端 2：PLC 侧抓包
sudo ethercat tap | ts '%.s' > plc_ts.log
人工喊'急停'→ 对比音频结束时间 vs PLC 包时间，平均 220 ms。
六、常见问题与解答（FAQ）
| 问题 | 现象 | 解决 |
|---|---|---|
| VAD 误触发车间噪声 | 200% 能量超标 | 加过零率 + 机器学习 VAD（Silero） |
| Whisper Tiny 第一次推理慢 | 冷启动 600 ms | 预热空跑 1 次，后续 <80 ms |
| PLC 写寄存器延迟抖动大 | 非实时线程 | 把写操作放到同一线程，优先级 97 |
| ALSA 周期漂移 | 10 ms ± 1 ms | 用 snd_pcm_hw_params_set_period_time_near 重设 |
| 内存交换导致卡顿 | 偶尔 50 ms 冻结 | mlockall() + vm.swappiness=10 |
七、实践建议与最佳实践
- 双 VAD 策略：能量 VAD 快速启动 → Silero VAD 二次确认，降低误触发 90%。
- 模型量化：Whisper Tiny → ONNX int8，CPU 占用从 120% 降到 35%。
- 优先级分层：
- FIFO 97：VAD + PLC 写
- FIFO 50：ASR 推理
- 普通：日志、UI
- 日志异步化：使用
mpsc::channel把日志抛到非实时线程写盘，避免 printk 阻塞。 - 安全冗余：语音仅作'辅助操作'，急停仍需物理按钮硬件回路，满足 ISO 13849-1 要求。
- CI 门禁：每次 MR 自动跑
cyclictest+ 语音压测，断言 E2E < 300 ms，否则流水线失败。
八、总结
实时语音控制
├─ VAD：能量 + 过零率，10 ms 窗口
├─ ASR：Whisper Tiny int8，<80 ms
├─ 实时线程：SCHED_FIFO 97，抖动 <50 μs
├─ PLC：EtherCAT 写寄存器，220 ms E2E
└─ 安全：物理冗余 + CI 断言
实时 Linux × AI 语音 不再是'Demo'玩具：
- 工业现场急停、复位、模式切换，220 ms 端到端已落地汽车零部件产线。
- 用开源组件（Whisper + PREEMPT_RT）即可打造低成本、高安全的语音 HMI。
