【论文阅读】Vision-skeleton dual-modality framework for generalizable assessment of Parkinson’s disease ga

研究内容

总体方法流程

视觉-骨架双模态框架总体工作流程如下图所示 。首先，通过人体姿态估计技术从步态视频中提取关键点的视觉信息和骨架信息 。对于关键点视觉，模型将带有坐标信息的特征块输入到关键点视觉 Transformer（KVT）中以提取视觉特征 。随后，模型将提取到的骨架运动特征与 KVT 提取的关键点视觉特征进行融合，并输入到时间融合编码器（Temporal Fusion Encoder）中，以进一步提取步态的时间动态特征 。最后，最终的评估分数由一个多层感知器（MLP）头部输出 。

关键点视觉 Transformer (KVT)

为了捕捉局部身体部位在行走时的视觉细节，作者设计了一种全新的 Transformer 模型来提取人体关键点的视觉特征（如下图所示） 。

图像块嵌入 (Patches embedding)

模型并非将整张图片输入，而是围绕关键点提取短时间序列的帧序列图像块（如下图）。对于视频

，获取关键点局部视频块

后，使用 3D 卷积来提取反映短期变化的特征，从而生成关键点Tokens (KT)

。

位置与连接嵌入 (Positions and connections embedding)

考虑到关键点不仅具有绝对的坐标位置，关键点之间还存在物理结构上的连通性 。该模型通过可学习的线性投影直接嵌入关键点坐标

，并与

 拼接得到

：

随后，引入了基于关键点邻接矩阵

的邻接嵌入（Adjacency Embedding, AE）来表示身体各部位之间的连接信息 ：

最后，将 AE 加入到特征中，并在序列头部添加一个 CLS Token ：

关键点自注意力 (Keypoints Self-Attention, KSA)

如下图所示，输入数据首先通过线性投影转换为 Queries (Q), Keys (K), Values (V) ：

在 Transformer 的自注意力计算阶段，模型将上述的邻接嵌入（AE）融入其中，使得注意力权重的计算不仅基于特征相似度，还能充分考虑到人体关键点之间的物理连接性 ：

骨架特征提取 (Skeleton features extraction)

在获取了人类关键点的视觉特征后，模型采用经典的时空图卷积网络（ST-GCN）来提取 PD 步态的全局骨架特征 。该部分将空间连接与时间维度相结合，能够从宏观角度提取人体行走的运动规律 ：

时间融合编码器 (Temporal Fusion Encoder)

对于同一时间段内提取到的'局部关键点视觉特征'与'全局骨架运动特征'，模型首先通过拼接（Concatenation）的方式进行特征融合

。为了提取整个视频的全局时间动态特性，融合后的特征序列被输入到时间融合编码器中，该编码器还加入了时间嵌入（Temporal Embeddings, TE） ：

最后，评估分数由 MLP 头部计算输出 ：

实验结果

在作者的研究中，由于单独特征在不同评分等级上的表现存在差异，因此作者在实验部分首先进行了骨架运动与关键点视觉的消融实验 。作者列举了所提框架中两个分支之间相互比较，该实验结果如下表：

由该结果可以看出，在双模态方法中，关键点视觉在非0评分的量化中表现比骨架运动更好 。这表明关键点视觉能够更好地捕捉步态中细微特征的变化。此外，还可以看出双模态特征融合能有效提升对视频中PD步态的整体评估准确性 。

此外，作者还比较了目前几种帕金森步态严重程度评估的方法 。表明了本文提出的方法以视频方式在一个更多参与者的数据集中实现了更为准确的帕金森步态评估，并在更一般的录制条件下（Ours-2 跨视角）展现出了极其显著的泛化优势 。

结论

该研究开创性地提出了一种用于评估 MDS-UPDRS 步态严重程度的视觉-骨架双模态深度学习框架 。通过引入独特的关键点视觉 Transformer 以及时间融合编码器，该模型不仅有效弥补了传统骨架方法在微小视觉特征上的丢失，还显著提高了多类别评分的准确性 。更重要的是，该模型在更一般化的跨视角监控数据上表现出了极高的鲁棒性，这为未来在家庭和社区环境中实现无约束的帕金森病远程监测与评估提供了极其可行的技术方案 。