视觉 - 骨架双模态框架：通过视频实现帕金森病步态的泛化评估
论文链接：https://doi.org/10.1016/j.media.2025.103727 代码链接：https://github.com/FJNU-LWP/PD-gait-VSDF
研究背景介绍
帕金森病评估与帕金森病评分量表（MDS-UPDRS）
步态评估在衡量帕金森病（PD）患者的病情严重程度中起着至关重要的作用。通过仔细观察和分析步态表现，医生可以深入了解帕金森病的进展，从而制定更精确的诊断和治疗方案。目前在临床实践中，被广泛接受的 PD 步态评估标准是基于 MDS-UPDRS（统一帕金森病评分量表）第三部分的内容。在评估过程中，患者必须遵守 MDS-UPDRS 中规定的测试协议，以准确捕捉其步态特征。这要求经过专业培训的评估人员仔细观察关键的步态指标，并对步态表现进行全面评估。然而，这种方法极其耗时，且需要大量的医疗资源。尽管评估人员具备专业培训和丰富经验，但主观性差异仍可能影响评分，引入了显著的主观性因素。因此，临床上迫切需要一种客观且精确的 PD 患者步态评估方法。近年来，许多研究探索了基于可穿戴传感器的各种自动化技术来量化 PD 患者的步态运动。然而，这些方法依赖于直接接触患者身体的传感器，不可避免地会影响 PD 患者的自然运动，这阻碍了它们在临床实践中的广泛采用。
帕金森病步态评估
随着计算机视觉技术的进步，基于视频的非接触式 PD 步态评估方法应运而生，克服了基于传感器方法的局限性。视频技术为 PD 评估提供了一种非接触、可扩展且无创的方法。近期的研究利用视频技术，辅以深度学习和人体姿态估计算法，来准确量化人体运动，证明了非接触式视频分析技术能够有效、快速地评估 PD 患者的步态。然而，目前大多数基于视频的方法仅仅依赖于在视频中通过人体姿态估计获取的骨架信息，而忽略了 PD 步态的视觉特征。而且，它们仅应用于单一录制视角的 PD 步态评估，展现出有限的泛化能力。此外，大多数现有的基于视频的方法依赖于光流或姿态估计等中层特征，这可能会在提取过程中丢弃原始 RGB 图像中的某些视觉信息。但是，直接使用视频中的全部 RGB 信息又会引入不必要的背景细节，并显著增加不必要的计算量。事实上，临床评估人员主要关注的是各个特定身体部位的状态。不仅如此，由于 PD 步态评估是一个综合的过程，除了局部视觉细节，如何有效地利用更宏观的骨架运动特征也值得进一步考量。
研究内容
总体方法流程
视觉 - 骨架双模态框架总体工作流程如下图所示。首先，通过人体姿态估计技术从步态视频中提取关键点的视觉信息和骨架信息。对于关键点视觉，模型将带有坐标信息的特征块输入到关键点视觉 Transformer（KVT）中以提取视觉特征。随后，模型将提取到的骨架运动特征与 KVT 提取的关键点视觉特征进行融合，并输入到时间融合编码器（Temporal Fusion Encoder）中，以进一步提取步态的时间动态特征。最后，最终的评估分数由一个多层感知器（MLP）头部输出。
关键点视觉 Transformer (KVT)
为了捕捉局部身体部位在行走时的视觉细节，作者设计了一种全新的 Transformer 模型来提取人体关键点的视觉特征（如下图所示）。
图像块嵌入 (Patches embedding)
模型并非将整张图片输入，而是围绕关键点提取短时间序列的帧序列图像块（如下图）。对于视频，获取关键点局部视频块后，使用 3D 卷积来提取反映短期变化的特征，从而生成关键点 Tokens (KT)。
