时空数据与大模型：基础模型的愿景、挑战与机遇及应用
摘要
基础模型已经革新了人工智能，在性能上设定了新的基准，并在广泛的视觉和语言任务中实现了变革性能力。然而，尽管时空数据在交通、公共卫生和环境监测等关键领域中广泛存在，时空基础模型（STFMs）仍未取得相应的成功。本文提出了时空基础模型的未来愿景，阐述了其基本特征以及广泛应用所需的泛化能力。我们对当前的研究状态进行了批判性评估，识别出与这些理想特征相比的研究空白，并突出了阻碍其进展的关键挑战。最后，我们探讨了推动研究向有效且广泛适用的时空基础模型发展的潜在机会和方向。
I. 引言
深度学习的出现显著推进了各类应用中的最先进性能。在近几年，基础模型（FMs）——在大规模和广泛数据上预训练的大型神经网络——凭借其卓越的'泛化'能力，尤其在语言和视觉任务中，通过迁移学习的概念，取得了变革性的成功。然而，基础模型尚未在涉及时空数据的任务中取得类似的影响。时空（ST）数据涵盖了具有空间和时间维度的各种数据，广泛存在于许多领域，包括城市分析、天气预报、气候科学、环境监测、农业、公共卫生等。随着时空数据从不同来源不断增长，其可行性和潜力也在增加，时空基础模型（STFMs）有望在不同领域学习共享模式，提高效率，特别是对于数据匮乏的应用，增强其泛化能力。然而，由于时空数据的若干特性，大大增加了 STFMs 学习的复杂性，导致进展缓慢。此外，现有的研究高度分散，主要依赖于特定的应用，这阻碍了朝着一种真正通用的时空基础模型（STFM）的进展，而这种模型可以与现有的语言和视觉模型相媲美。
本文提出了时空基础模型的未来愿景，并探讨其在各类时空应用中推进最先进性能的潜力。我们概述了广泛适用的时空基础模型所必需的关键泛化能力，并分析了它们发展的主要挑战和障碍。我们对当前的研究状态进行了批判性评估，识别出与这些理想特征相比的研究空白。我们还探讨了通过有针对性的研究和创新推动进一步发展的机会。总结来说，本文的主要贡献如下：
- 我们通过识别时空基础模型的关键理想能力，提出了时空基础模型发展的方向。
- 我们审视了时空基础模型研究中的现有努力，并根据这些理想评估了当前的能力。
- 我们考虑了进一步研究的主要途径和机会，以提高性能和适用性。
II. 基础知识
A. 时空数据
时空数据是涉及空间和时间维度的任何类型数据。最抽象地说，它可以被理解为一组时间序列，每个序列都与特定的空间位置相关联。我们将时空序列表示为 $X \in R^{V \times N \times T}$，其中 $V$ 代表变量或特征的数量，$N$ 是空间位置的数量（通常但不一定由传感器或测量设备的数量决定），$T$ 是时间步数。在实际应用中，时空数据有多种不同的格式或结构，不同的格式适合不同的应用。下面我们将详细描述每种类型的时空数据。
栅格数据：栅格数据在一个规则且固定的空间网格上结构化，具有高度 $H$ 和宽度 $W$。在这种格式下，$N$ 等于网格中单元格的总数，即 $N=H \times W$。需要注意的是，每个单元格中的特征可能并不对应于物理系统中的唯一数据记录或传感器，这取决于物理和后勤的限制。相反，原始测量值可以通过各种插值技术转换为所需分辨率的栅格数据。栅格数据广泛应用于时空应用领域，如交通、天气与气候分析、医学成像、遥感等。视频数据也可以视为一种特殊形式的栅格数据，其中每个单元格代表一个像素，并在每个时间步包含自己的 RGB 值。
点参考数据：点参考数据与栅格数据类似，不同之处在于数据测量的空间位置可能随着时间步的变化而变化。例如，气象气球收集的气候数据，由于气流的影响，气象气球随时间移动，或者漂浮在海面上的浮标传感器记录的海表温度。在这种情况下，变化的空间位置成为一个额外的变量，必须在每个时间步进行追踪和记录，从而增加了数据结构的复杂性。
轨迹数据：轨迹数据代表了物体在空间中随时间变化的路径，包含一对地理坐标和时间戳：${ l_i, t_i \u007d$。它通常应用于与移动相关的领域，例如行人或车辆运动跟踪。在处理多个移动物体时，通常将轨迹数据分为离散的桶，其中特征表示在特定空间边界和特定时间段内的轨迹数量，这与栅格数据非常相似。
事件数据：事件数据通过一组元组 ${ e_i, l_i, t_i \u007d$ 特征化，其中每个元组对应一个特定类型的事件 $e_i$，并在位置 $l_i$ 和时间 $t_i$ 记录。事件通常较为稀有，例如犯罪或交通事故。因此，事件数据通常比其他形式的时空数据更加稀疏，大部分条目为零。由于这种稀疏性，事件数据的建模和分析需要采用专门的技术。
正如相关文献所述，时空数据具有两个关键特性。第一个特性是异质性，意味着时空模式可能会在空间（从一个位置到另一个位置）和时间（从一个时间段到另一个时间段）范围和尺度上有所不同。异质性是一个特别具有挑战性的特性，因为它违反了所有数据样本都是独立同分布的假设，即来自同一概率分布。第二个特性是自相关性，反映了相近时间和空间的测量往往遵循相似的分布，这里的相近既可以理解为空间上的接近，也可以是时间上的接近。这一点在托布勒的地理第一定律中得到了很好总结：'一切都是相互关联的，但近的事物比远的事物更相关。'
B. 时空数据挖掘
时空数据挖掘涉及学习建模时空数据中的空间和时间模式。近年来，结合卷积和递归模块的神经网络在捕捉空间和时间依赖性方面表现出了特别的成功。CNN-LSTMs 首先使用卷积神经网络（CNN）从输入数据中提取空间特征，随后使用长短期记忆（LSTM）网络从提取的空间特征中学习序列模式。另一种方法，ConvLSTMs，将 LSTM 门中的矩阵乘法替换为卷积操作，以捕捉序列模型中的空间依赖性。
