OpenCV 4 Python 实战：计算摄影与机器学习应用

import functools
import numpy as np

def gamma_transform(x, gamma, bps=14):
    return np.clip(pow(x / 2**bps, gamma) * 255.0, 0, 255)

def apply_gamma(img, gamma, bps=14):
    corrected = img.copy()
    for i in range(corrected.shape[0]):
        for j in range(corrected.shape[1]):
            corrected[i, j] = gamma_transform(corrected[i, j], gamma, bps)
    return corrected.astype(np.uint8)

高动态范围成像（HDR）

HDR 技术通过合并多张不同曝光时间的照片，生成一个能覆盖更广亮度范围的图像。常用的算法包括 Debevec 算法。

提取曝光时间

我们需要从图像元数据中获取快门速度、光圈和 ISO，以计算相对曝光强度：

import exifread

def exposure_strength(path, iso_ref=100, f_stop_ref=6.375):
    with open(path, 'rb') as infile:
        tags = exifread.process_file(infile)
    
    f_stop = tags['EXIF ApertureValue'].values[0]
    rel_aperture_area = 1 / (f_stop.num / f_stop.den / f_stop_ref)**2
    
    iso_speed = tags['EXIF ISOSpeedRatings'].values[0]
    iso_multiplier = iso_speed / iso_ref
    
    exposure_time = tags['EXIF ExposureTime'].values[0]
    exposure_time_float = exposure_time.num / exposure_time.den
    
    return rel_aperture_area * exposure_time_float * iso_multiplier

合并 HDR 图像

使用 OpenCV 的 HDR 模块可以轻松完成合并与色调映射：

import cv2
import numpy as np

times_array = np.array([exposure_strength(p) for p in images], dtype=np.float32)

# 创建校准器
cal_debevec = cv2.createCalibrateDebevec()
crf_debevec = cal_debevec.process(images, times=times_array)

# 合并图像
merge_debevec = cv2.createMergeDebevec()
hdr_debevec = merge_debevec.process(images, times=times_array.copy(), response=crf_debevec)

# 色调映射
tonemap = cv2.createTonemap(gamma=2.2)
res_debevec = tonemap.process(hdr_debevec)

# 转换为 8 位显示
res_8bit = np.clip(res_debevec * 255, 0, 255).astype('uint8')

全景拼接

全景拼接涉及特征匹配、相机参数估计和图像融合。OpenCV 提供了 Stitcher 类简化流程，但理解底层原理有助于调试。

关键步骤包括：

1. 特征提取与匹配：使用 SURF 或 SIFT 提取关键点并匹配。
2. 相机参数估计：计算单应性矩阵（Homography）。
3. 图像重投影：将图像映射到统一的画布上。
4. 融合：使用多频段混合消除接缝。

简易脚本结构如下：

def parse_args():
    parser = argparse.ArgumentParser()
    # ... 解析参数 ...
    return args

def stitch_images(images):
    stitcher = cv2.Stitcher_create()
    status, stitched = stitcher.stitch(images)
    if status == cv2.Stitcher_OK:
        return stitched
    return None

视觉显著性与跟踪

视觉显著性检测

视觉显著性是指某些区域因统计异常而吸引注意力的特性。利用傅里叶分析，我们可以计算频谱残差来生成显著性图。

自然图像的功率谱通常遵循 $1/f$ 定律。偏离这一规律的频率成分即为显著区域。

def get_saliency_map(frame, use_numpy_fft=True):
    # 计算傅里叶变换
    if use_numpy_fft:
        img_dft = np.fft.fft2(frame)
        magnitude, angle = cv2.cartToPolar(np.real(img_dft), np.imag(img_dft))
    else:
        img_dft = cv2.dft(np.float32(frame), flags=cv2.DFT_COMPLEX_OUTPUT)
        magnitude, angle = cv2.cartToPolar(img_dft[:,:,0], img_dft[:,:,1])
    
    log_ampl = np.log10(magnitude.clip(min=1e-9))
    log_ampl_blur = cv2.blur(log_ampl, (3, 3))
    residual = np.exp(log_ampl - log_ampl_blur)
    
    # 逆变换得到显著性图
    real_part, imag_part = cv2.polarToCart(residual, angle)
    img_combined = np.fft.ifft2(real_part + 1j * imag_part)
    magnitude, _ = cv2.cartToPolar(np.real(img_combined), np.imag(img_combined))
    return magnitude

均值漂移跟踪

结合显著性图和均值漂移算法，可以在视频流中自动跟踪多个运动物体。

def advance_frame(self, frame, proto_objects_map, saliency):
    object_contours, _ = cv2.findContours(proto_objects_map, 1, 2)
    object_boxes = [cv2.boundingRect(contour) for contour in object_contours 
                    if cv2.contourArea(contour) > self.min_object_area]
    
    if len(self.object_boxes) >= len(object_boxes):
        object_boxes = [cv2.meanShift(saliency, box, self.term_crit)[1] 
                        for box in self.object_boxes]
    else:
        self.object_initial_centers = [(x + w/2, y + h/2) for x, y, w, h in object_boxes]
        self.num_frame_tracked = 0
    
    self.object_boxes = object_boxes
    return self.draw_good_boxes(copy.deepcopy(frame))

机器学习应用

交通标志识别

使用支持向量机（SVM）和多类分类策略识别 GTSRB 数据集。

1. 特征提取：比较灰度、HSV、SURF 和 HOG 特征的效果。HOG 通常表现最佳。
2. 训练 SVM：采用一对多（One-vs-All）策略处理多类别问题。
3. 评估指标：准确率、精确率和召回率。

def train_one_vs_all_SVM(X_train, y_train):
    svm = cv2.ml.SVM_create()
    svm.setKernel(cv2.ml.SVM_LINEAR)
    svm.setType(cv2.ml.SVM_C_SVC)
    svm.setC(2.67)
    svm.setGamma(5.383)
    svm.train(X_train, cv2.ml.ROW_SAMPLE, y_train)
    return svm

面部表情识别

结合 Haar 级联检测人脸，并使用多层感知器（MLP）识别表情。

1. 人脸检测：使用预训练的 haarcascade_frontalface_default.xml。
2. 人脸对齐：根据眼睛位置进行仿射变换，确保输入一致性。
3. PCA 降维：降低特征维度，加速训练并减少过拟合。
4. MLP 训练：配置网络层数和激活函数。

class FaceDetector:
    def __init__(self, face_cascade='params/haarcascade_frontalface_default.xml', 
                 eye_cascade='params/haarcascade_eye.xml'):
        self.face_clf = cv2.CascadeClassifier(face_cascade)
        self.eye_clf = cv2.CascadeClassifier(eye_cascade)
        if self.face_clf.empty():
            raise ValueError('Could not load face cascade')

    def detect_face(self, rgb_img):
        gray = cv2.cvtColor(rgb_img, cv2.COLOR_RGB2GRAY)
        faces = self.face_clf.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=3)
        return faces

总结

本章涵盖了从底层图像处理到高层机器学习的完整工作流。通过 HDR 和全景拼接解决了传统摄影的动态范围和视野限制；利用显著性检测和跟踪实现了视频内容的智能分析；最后通过 SVM 和神经网络完成了具体的分类任务。这些技术构成了现代计算机视觉应用的基础。