Python 使用 Pandas 筛选 Excel 数据并剔除区间外值

注意事项

1. 逻辑运算符：Pandas 中必须使用 & 表示逻辑与，| 表示逻辑或，不能使用 Python 原生的 and/or，否则会报错。
2. 括号优先级：每个比较条件必须用括号包裹，如 (df["col"] > 0)，否则会导致运算优先级错误。
3. 链式操作性能：每次赋值都会创建一个新的 DataFrame，多次赋值意味着多次遍历数据。对于超大数据集，建议合并所有条件为一次判断。

进阶方法：动态配置筛选

当需要筛选的列较多且规则相似时，硬编码多个链式语句会显得冗长且难以维护。我们可以使用字典来存储列名和对应的上下限规则，通过循环动态生成过滤条件。

代码示例

import pandas as pd

def filter_dataframe(df, rules):
    """
    根据规则字典动态筛选 DataFrame
    :param df: 原始 DataFrame
    :param rules: 字典，格式 {列名：[最小值，最大值]}
    :return: 筛选后的 DataFrame
    """
    # 初始化全真掩码
    mask = pd.Series([True] * len(df), index=df.index)
    
    for col, limits in rules.items():
        if col not in df.columns:
            print(f"警告：列 '{col}' 不存在，跳过")
            continue
        
        min_val, max_val = limits
        # 构建当前列的布尔掩码
        # 处理无上界情况（max_val 为 None）
        if max_val is None:
            col_mask = df[col] >= min_val
        else:
            col_mask = (df[col] >= min_val) & (df[col] <= max_val)
        
        # 合并掩码
        mask = mask & col_mask
    
    return df[mask]

# 定义筛选规则
filter_rules = {
    "inf": (-0.2, 18),
    "NDVI": (-1, 1),
    "soil": (0, None),  # None 表示无上界限制
}

# 执行筛选
filtered_df = filter_dataframe(df, filter_rules)
filtered_df.to_csv('result.csv', index=False)

此方法的优势在于维护方便，只需修改 filter_rules 字典即可调整筛选逻辑，无需改动核心代码结构，非常适合规则频繁变更的场景。

替代方案：使用 query() 方法

Pandas 提供了 query() 方法，允许使用字符串表达式进行筛选，代码可读性更强，且底层通常利用 numexpr 引擎优化计算。

代码示例

# 使用 query 方法，语法类似 SQL
df = df.query("-0.2 <= inf <= 18 and -1 <= NDVI <= 1 and soil >= 0")

注意事项

1. 变量引用：如果在表达式中使用外部变量，需要使用 @ 符号前缀，如 @min_val。
2. 性能：在处理大量数值计算时，query 通常比布尔索引稍快。
3. 兼容性：某些特殊字符列名可能需要转义或使用反引号包裹。

异常处理与健壮性增强

在实际工程中，数据文件可能存在缺失列、类型不匹配或空值等问题。建议在代码中加入异常捕获机制以确保程序稳定运行。

import pandas as pd
import numpy as np

def safe_filter(input_path, output_path, rules):
    try:
        # 读取数据
        df = pd.read_csv(input_path)
        
        # 预处理：填充或删除缺失值
        # 此处选择将数值列的 NaN 视为不满足条件从而被剔除
        # 或者先填充再筛选，视业务逻辑而定
        
        # 应用筛选
        filtered_df = filter_dataframe(df, rules)
        
        # 保存结果
        filtered_df.to_csv(output_path, index=False)
        print(f"筛选完成，原始行数：{len(df)}, 剩余行数：{len(filtered_df)}")
        
    except FileNotFoundError:
        print("错误：找不到输入文件")
    except KeyError as e:
        print(f"错误：数据集中缺少列 {e}")
    except Exception as e:
        print(f"发生未知错误：{e}")

性能优化建议

1. 数据类型转换：将数值列转换为更小的数据类型（如 float32 代替 float64，int32 代替 int64）可以显著节省内存。
2. 分块读取：如果源文件极大（GB 级别），考虑使用 chunksize 参数分块读取处理，避免内存溢出。
3. 避免重复读取：尽量只读取一次源文件，后续所有操作都在内存中进行。
4. 并行处理：对于极大规模数据，可考虑使用 Dask 或 Ray 等分布式计算框架。

CSV 与 Excel 格式选择

虽然本文主要演示 CSV 格式，但 Pandas 同样支持 .xlsx 格式。

• CSV：通用性强，体积小，读写速度快，但不支持样式和多 Sheet。
• Excel (.xlsx)：支持样式、多 Sheet，但体积较大，读写速度较慢，依赖 openpyxl 引擎。

若需保存为 Excel：

filtered_df.to_excel('result.xlsx', index=False)

总结

通过 Pandas 的布尔索引、动态配置或 query 方法，我们可以灵活地剔除 Excel 或 CSV 文件中不在指定区间的数据。选择哪种方法取决于规则的复杂度和数据规模。对于常规任务，链式索引足够；对于复杂规则，动态配置更为优雅；对于追求性能的场景，可尝试 query 或分块处理。掌握这些技巧将大幅提升数据清洗的效率与质量。