MiDaS 单目深度估计方案及 WebUI 集成实践

快速上手指南：三步完成深度估计

本镜像最大亮点在于 零代码交互式体验。即使你没有任何编程基础，也能在几分钟内完成一次完整的深度感知实验。

第一步：启动镜像并访问 WebUI

1. 在支持容器化部署的环境中创建实例，选择镜像 AI 单目深度估计 - MiDaS
2. 启动成功后，访问服务地址
3. 浏览器将自动打开一个简洁的 Web 界面，左侧为上传区，右侧为结果展示区

优势说明： 所有依赖（PyTorch、OpenCV、Flask 等）均已预装，避免'环境冲突'、'缺少 DLL'等问题；服务运行于高稳定性 CPU 环境，适合长期在线部署。

第二步：上传你的第一张测试图像

建议选择具有明显纵深结构的照片，例如：

• 街道远景（近处行人 vs 远处建筑）
• 室内走廊（近大远小透视效果）
• 宠物面部特写（鼻尖突出，耳朵靠后）

支持格式：.jpg, .png, .bmp（推荐分辨率 ≥ 720p）

第三步：一键生成深度热力图

点击 '📂 上传照片测距' 按钮，系统将在 1~3 秒内完成以下流程：

1. 图像预处理：归一化、尺寸缩放至 384×384
2. 深度推理：调用 MiDaS_small 模型前向传播
3. 分辨率还原：双三次插值放大回原图尺寸
4. 热力图渲染：应用 Inferno 色谱并叠加透明度融合

最终结果实时显示在右侧面板，如下所示：

观察技巧： 如果发现某些区域颜色异常（如天空呈暖色），可能是光照干扰导致误判，可尝试更换角度更正的图片。

高阶玩法：结合 SAM 与 Open3D 实现点云重建

虽然 WebUI 适合快速验证，但对于进阶用户，我们可以进一步利用生成的深度图进行 3D 点云重建，打造完整闭环。

数据准备与目录结构

遵循标准工程规范组织文件：

project/
├── images/          # 输入图像（PNG/JPG）
│   ├── scene_01.jpg
│   └── scene_02.jpg
├── masks/           # SAM 生成的二值掩码
│   ├── scene_01_mask.png
│   └── scene_02_mask.png
├── depths/          # MiDaS 输出的深度图
└── pointclouds/     # Open3D 生成的 PLY 点云

步骤一：增强型深度估计（融合 Mask）

为了排除背景干扰，提升主体深度精度，可引入 SAM（Segment Anything Model）生成的 mask 进行掩膜处理。

import cv2
import torch
import numpy as np

def enhance_depth_with_mask(image_path, mask_path):
    # 加载模型
    midas = torch.hub.load("intel-isl/MiDaS", "MiDaS_small")
    device = torch.device("cpu")  # 本镜像为 CPU 优化版
    midas.to(device).eval()

    # 读取图像与 mask
    img = cv2.imread(image_path)
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB).astype(np.float32) / 255.0
    mask = cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE)

    # 应用 mask 保留主体
    img_masked = cv2.bitwise_and(img_rgb, img_rgb, mask=mask)

    # 转换为张量并插值到模型输入尺寸
    input_tensor = torch.from_numpy(img_masked).permute(2, 0, 1).unsqueeze(0).to(device)
    input_resized = torch.nn.functional.interpolate(
        input_tensor, size=(384, 384), mode='bilinear', align_corners=False
    )

    # 推理
    with torch.no_grad():
        predicted_depth = midas(input_resized)
        predicted_depth = torch.nn.functional.interpolate(
            predicted_depth.unsqueeze(1), size=img.shape[:2], mode="bicubic", align_corners=False
        ).squeeze().cpu().numpy()

    # 归一化并修复被 mask 遮挡区域
    depth_min, depth_max = predicted_depth.min(), predicted_depth.max()
    depth_norm = (predicted_depth - depth_min) / (depth_max - depth_min + 1e-6)

    # 使用 inpaint 修复缺失区域
    _, binary_mask = cv2.threshold(mask, 127, 255, cv2.THRESH_BINARY_INV)
    depth_inpaint = cv2.inpaint((depth_norm * 255).astype(np.uint8), binary_mask, 3, cv2.INPAINT_TELEA)
    return depth_inpaint

步骤二：深度图转点云（Open3D）

接下来使用 Open3D 将深度图转换为空间点云。

import open3d as o3d
import numpy as np

def depth_to_point_cloud(depth_image, fx=1380, fy=1380, cx=960, cy=540):
    height, width = depth_image.shape
    intrinsic = o3d.camera.PinholeCameraIntrinsic(width, height, fx, fy, cx, cy)

    # 构建 Open3D 图像对象
    depth_o3d = o3d.geometry.Image(depth_image.astype(np.float32))

    # 创建点云
    pcd = o3d.geometry.PointCloud.create_from_depth_image(
        depth_o3d, intrinsic, depth_scale=255.0, depth_trunc=10.0
    )

    # 可选：添加颜色信息
    color_img = cv2.imread("images/scene_01.jpg")
    color_img_rgb = cv2.cvtColor(color_img, cv2.COLOR_BGR2RGB)
    colors = color_img_rgb.reshape(-1, 3) / 255.0
    pcd.colors = o3d.utility.Vector3dVector(colors)
    return pcd

# 使用示例
pcd = depth_to_point_cloud("depths/scene_01_depth.png")
o3d.io.write_point_cloud("pointclouds/scene_01.ply", pcd)

步骤三：多视角点云配准（ICP 算法）

若有多张不同角度的图像，可通过 ICP（Iterative Closest Point）算法进行点云对齐。

def register_point_clouds(pcd_list):
    registered_pcds = [pcd_list[0]]  # 第一帧作为参考坐标系
    transformation = np.identity(4)
    for i in range(1, len(pcd_list)):
        source = pcd_list[i]
        target = registered_pcds[i-1]
        result = o3d.pipelines.registration.registration_icp(
            source, target, max_correspondence_distance=0.05,
            init=transformation,
            estimation_method=o3d.pipelines.registration.TransformationEstimationPointToPoint()
        )
        transformation = result.transformation
        registered_pcds.append(source.transform(transformation))
    return registered_pcds

步骤四：表面重建（泊松网格化）

最后一步是将离散点云转化为连续曲面网格。

def poisson_mesh_reconstruction(pcd, depth=9):
    pcd.estimate_normals(search_param=o3d.geometry.KDTreeSearchParamHybrid(radius=0.1, max_nn=30))
    mesh, densities = o3d.geometry.TriangleMesh.create_from_point_cloud_poisson(
        pcd, depth=depth, linear_fit=True
    )

    # 网格优化
    mesh.remove_degenerate_triangles()
    mesh.remove_duplicated_triangles()
    mesh.filter_smooth_laplacian(number_of_iterations=5)
    return mesh

# 输出最终模型
mesh = poisson_mesh_reconstruction(pcd)
o3d.io.write_triangle_mesh("output/model.ply", mesh)

对比分析：MiDaS 与其他深度估计算法

选型建议：

• 快速原型验证 → 选择 MiDaS + 本镜像方案
• 高精度科研任务 → 考虑 DPT-Large + GPU 加速
• 移动端部署 → 推荐 MiDaS_small 或 Monodepth2 Tiny

实践避坑指南：常见问题与解决方案

总结

本文介绍的 MiDaS 镜像版，不仅仅是一个模型封装，更是一套面向实际应用的完整解决方案：

• 极简操作：无需安装、无需编码，WebUI 一键生成深度图
• 稳定可靠：基于官方 PyTorch Hub 源码，杜绝第三方 Token 失效风险
• 工程友好：支持批量处理、API 扩展、二次开发接口预留
• 可拓展性强：结合 SAM、Open3D 即可实现完整 3D 重建流水线

无论你是想做创意视觉项目、AR 内容生成，还是探索低数据量下的 3D 建模新路径，这套方案都能为你提供坚实的第一步。