基于大疆 SRT 数据的高精度 AR 视频投射实现方案

我们利用 ffmpeg 解析器，把 [iso: 100] [latitude: 34.33] [gb_yaw: -87.4]... 这种字符串转换成 JSON 数组。

3. 驱动：requestAnimationFrame

监听视频的播放时间 currentTime，在每一帧渲染循环中：

1. 根据当前时间，在 SRT 数据中找到对应的位置和姿态。
2. 调用地图 API，同步更新虚拟相机。

// 伪代码示例
function onRender() {
    const time = video.currentTime;
    const pose = interpolate(srtData, time); // 插值计算姿态
    // 同步地图相机
    map.camera.setView({
        destination: [pose.lng, pose.lat, pose.alt],
        orientation: {
            heading: pose.yaw,
            pitch: pose.pitch,
            roll: pose.roll
        }
    });
}

到这里，一个基础的 Video AR 原型就跑起来了。
但是，当你兴奋地运行代码，现实会给你一盆冷水。

第二部分：四大'劝退'痛点与根源分析

如果你发现视频和地图对不上，通常逃不过这四个原因：

❌ 痛点一：画面总是'慢半拍'或'飘移'

现象：无人机转头了，地图过了一瞬间才转；或者画面一直在不停地微小晃动。
根源 —— 时间不同步：
SRT 文件的时间戳和视频画面的渲染时间戳往往存在微小的System Lag（系统延迟）。视频解码需要时间，传感器记录也有频率误差。这导致我们拿到的位置信息，其实是'几十毫秒前'的。

❌ 痛点二：中间对准了，边缘全是歪的

现象：屏幕中心的十字路口完美重合，但四周的建筑物，视频里在左边，地图上在右边。
根源 —— 镜头畸变与变焦：

• 物理层面：Cesium 的相机是理想针孔模型（无畸变）。而真实相机（尤其是广角）有桶形畸变。
• 变焦难题：如果你用的是 M30T 这种支持变焦的机型，SRT 里有时不记录实时的 Focal Length（焦距/倍率）。你在视频里推了镜头，但地图相机还在用广角看，视野自然对不上。

❌ 痛点三：标注点'浮'在空中或'埋'在地下

现象：视频里明明是在地面的车，AR 标注却显示在车顶上方 10 米，或者直接钻到地底下了。
根源 —— 高程模型 (DEM) 偏差：

• SRT 数据：记录的是 abs_alt（气压计/GPS 海拔）或 rel_alt（相对起飞点高度）。
• 地图数据：Cesium 使用的是 DEM 地形数据。
  如果你的 DEM 精度不够（比如用的开源 30 米精度），或者无人机气压计受气流影响波动，'视频里的地面'和'地图里的地面'就不是一个高度。

❌ 痛点四：飞着飞着，方向就歪了

现象：刚起飞时很准，飞过一栋大楼或高压线后，Yaw 轴（方向角）偏了 3-5 度。
根源 —— 传感器累积误差与磁干扰：
无人机的电子罗盘（Compass）非常敏感。钢筋混凝土建筑、高压线、大型金属结构都会干扰磁场，导致 Yaw 角产生漂移。这是硬件物理特性，无法避免。

第三部分：核心解决策略（SOP）

针对上述问题，我们有一套标准的代码 + 调参修复策略：

✅ 1. 解决'慢半拍'：全局时间补偿

在代码中引入 timeOffset 变量。

• 策略：找一个无人机急转弯的时刻。
• 操作：微调 timeOffset（例如 +0.5s 或 -0.2s），直到地图的旋转动作与视频画面严丝合缝。

✅ 2. 解决'边缘歪'：FOV 动态修正

不要试图硬解物理畸变（Web 端性能开销太大）。

• 策略：引入 distortionCorrection 系数。
• 操作：手动缩放这个系数，改变虚拟相机的 FOV（视场角）。
  • 视频边缘包不住地图？ -> 扩大虚拟视野。
  • 视频边缘填不满地图？ -> 缩小虚拟视野。
  • 注：对于变焦镜头，如果 SRT 没有焦距数据，只能在界面上提供一个'倍率推杆'给用户手搓。

✅ 3. 解决'飞着飞着歪了'：Timeline Keyframes（终极杀招）

既然传感器误差是动态变化的，那单一的校准参数肯定不行。我们需要**'动态关键帧'**。

• 策略：实现一个基于时间轴的校准系统。
• 操作：
  • 00:00：校准 Yaw +0°
  • 05:20：发现歪了，增加关键帧 Yaw +3°
  • 代码自动计算中间的线性插值，消除累积误差。

第四部分：可行性边界分析（非常重要！）

作为开发者，我们必须清楚：哪些是代码能救的？哪些是神仙也救不了的？

结语

视频融合是数字孪生中非常酷炫的一环，但也是细节魔鬼最多的一环。希望这篇从原理到痛点的复盘，能帮你在项目中少走弯路。