7 个提升数据工程与开发效率的实用 Python 库

pip install ftfy

使用示例：

import ftfy

# 修复包含乱码的句子
print(ftfy.fix_text('Correct the sentence using “ftfyâ€\x9d.'))
# 输出：Correct the sentence using "ftfy".

# 修复其他编码问题
print(ftfy.fix_text('à perturber la réflexion'))
# 输出：perturber la réflexion

适用场景： NLP 数据清洗、日志分析、多语言文本预处理。

3. Sketch：基于 AI 的 Pandas 代码助手

Sketch 是一个专为 Pandas 用户设计的 AI 代码编写助手。它利用机器学习算法理解数据上下文，提供代码建议，无需在 IDE 中安装额外插件即可快速开始。

核心特性：

• 自然语言查询数据（.sketch.ask）
• 生成代码片段（.sketch.howto）
• 特征工程辅助（.sketch.apply）

安装：

pip install sketch

使用示例： 首先需要在 Pandas DataFrame 上启用 .sketch 扩展。

import sketch
import pandas as pd

# 读取数据
file = "data/airports.csv"
df = pd.read_csv(file)

# 询问数据结构
df.sketch.ask("Which columns are category type?")
# 输出：iata, name, city, state, country

# 询问数据形状
df.sketch.ask("What is the shape of the dataframe")
# 输出：The shape of the dataframe is (3376, 8).

# 生成可视化代码
df.sketch.howto("Visualize the emotions")

注意： .sketch.apply 功能通常需要 OpenAI API 密钥支持，需自行配置。

适用场景： 快速探索数据集、减少样板代码编写、辅助数据分析新手。

4. Pgeocode：邮政编码地理编码

Pgeocode 允许通过邮政编码查找距离和地理信息，支持近 100 个国家/地区。对于空间分析项目非常有用。

核心特性：

• 计算两个邮编之间的距离
• 获取经纬度坐标
• 支持多国数据

安装：

pip install pgeocode

使用示例： 获取特定邮政编码的地理信息（以印度为例）：

import pgeocode

# 初始化 India 数据
nomi = pgeocode.Nominatim('in')

# 查询邮编信息
result = nomi.query_postal_code(["620018", "620017", "620012"])
print(result)

# 计算两个邮编之间的物理距离（公里）
distance = pgeocode.GeoDistance('in')
dist_val = distance.query_postal_code("620018", "620012")
print(f"Distance: {dist_val} km")

关于中国数据： 中国的国家代码为 'CN'。若需查询中国邮编，请使用 pgeocode.Nominatim('cn')。

适用场景： 物流路径规划、区域销售分析、地理位置服务。

5. Rembg：图像背景移除

Rembg 是一个简单的库，用于从图像中删除背景。它基于深度学习模型，效果出色且易于集成。

安装：

pip install rembg

使用示例：

from rembg import remove
import cv2

input_path = 'image.jpeg'
output_path = 'output.png'

# 读取输入图像
input_img = cv2.imread(input_path)

# 移除背景
output_img = remove(input_img)

# 保存结果
cv2.imwrite(output_path, output_img)

适用场景： 电商产品图处理、头像裁剪、图像素材编辑。

6. Humanize：人性化数据格式化

Humanize 库旨在将数字、日期和时间转换为更易读的字符串格式，例如将秒数转换为'2 分钟前'。

安装：

pip install humanize

使用示例： 整数格式化：

import humanize

# 添加千位分隔符
a = humanize.intcomma(951009)
print(a)  # 输出：951,009

# 转换为单词形式
b = humanize.intword(10046328394)
print(b)  # 输出：10.0 billion

日期和时间格式化：

import datetime as dt

# 自然日期
a = humanize.naturaldate(dt.date(2012, 6, 5))
print(a)  # 输出：Jun 05 2012

# 自然日
b = humanize.naturalday(dt.date(2012, 6, 5))
print(b)  # 输出：Jun 05

适用场景： 用户界面展示、日志可读性优化、报告生成。

7. OSMnx：OpenStreetMap 数据获取

OSMnx 是获取当地社区空间信息的强大工具，可通过 Python 轻松下载 OpenStreetMap (OSM) 数据。

安装： 建议使用虚拟环境以避免依赖冲突。

conda create -n osm_env python=3.9
conda activate osm_env
pip install osmnx

使用示例： 下载柏林和汉堡的餐厅数据：

import os
from os.path import join
import osmnx
import pandas as pd

# 设置路径变量
main_path = "/your/data/path"
data_path = join(main_path, "data")

# 定义参数
cities = ["Berlin, Germany", "Hamburg, Germany"]
places = ["restaurant", "bar"]
years = ["2020", "2021"]

# 确保目录存在
for p in places:
    if not os.path.exists(join(data_path, p)):
        os.makedirs(join(data_path, p))

# 设置 Overpass 查询参数
settings = '[out:json][timeout:180][date:"{year}-12-31T00:00:00Z"]'

extracted_data = []

for place in places:
    for city in cities:
        for year in years:
            tag = {"amenity": place}
            osmnx.settings.overpass_settings = settings.format(year=year)
            
            # 提取几何数据
            tagged_data = osmnx.geometries_from_place(city, tags=tag)
            tagged_data["snap_year"] = year
            
            # 导出 CSV
            filename = f"{place}_{year}_{city}.csv"
            path = join(data_path, place)
            tagged_data.to_csv(join(path, filename))
            extracted_data.append(tagged_data)
            print(f"Extraction of {year} and {city} for {tag} completed")

适用场景： 城市规划研究、POI 数据分析、地理信息系统开发。

总结与建议

上述 7 个库覆盖了数据处理的全流程：

1. 时间管理：Pendulum 解决时区痛点。
2. 数据清洗：FTFY 修复编码，Humanize 优化展示。
3. AI 辅助：Sketch 加速 Pandas 操作，Rembg 处理图像。
4. 地理空间：Pgeocode 处理邮编，OSMnx 获取地图数据。

在实际项目中，建议根据具体需求组合使用。例如，在使用 OSMnx 获取地理数据后，可用 Pendulum 处理时间戳，最后用 Humanize 格式化输出结果。同时，注意各库的版本兼容性，建议在虚拟环境中隔离依赖。

对于初学者，推荐先掌握 Pendulum 和 Humanize，这两者上手快且通用性强。对于数据工程师，Sketch 和 OSMnx 能显著提升生产力。所有库均遵循开源协议，可放心用于商业项目。