Python 数据科学工具链入门：NumPy、Pandas、Matplotlib 实战指南

向量化运算

无需 for 循环，直接对整个数组做加减乘除。

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

# 元素级加法
print(a + b)  # [5 7 9]

# 元素级乘法
print(a * b)  # [4 10 18]

# 平方
print(a ** 2)  # [1 4 9]

# 三角函数
print(np.sin(a))  # [0.8415 0.9093 0.1411]

# 条件筛选
print(a[a > 1])  # [2 3]

这些操作在 C 层面并行执行，速度极快。常用数学函数如均值、标准差、最大值等将贯穿未来的模型评估环节。

Pandas：让数据处理像 Excel 一样直观

如果说 NumPy 是引擎，那么 Pandas 就是驾驶舱——它提供了更贴近人类思维的数据结构：Series（带标签的一列）和 DataFrame（表格）。

创建 DataFrame

import pandas as pd

# 从字典创建
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['NYC', 'LA', 'Chicago']
}
df = pd.DataFrame(data)
print(df)

读取真实数据

我们将使用经典的泰坦尼克号乘客数据集。可以从 Kaggle 下载，或使用 seaborn 内置版本。

import seaborn as sns

# 方法 1：从 seaborn 加载（推荐初学者）
titanic = sns.load_dataset('titanic')

# 方法 2：从本地 CSV 读取
# titanic = pd.read_csv('titanic.csv')

print("前 5 行:")
print(titanic.head())
print("\n基本信息:")
print(titanic.info())

典型输出会显示各列的非空计数。注意 age 和 embarked 有缺失值，这是真实数据的常态。

基础探索

# 查看维度
print("形状:", titanic.shape)  # (891, 15)

# 统计摘要（仅数值列）
print(titanic.describe())

# 查看分类变量分布
print(titanic['sex'].value_counts())

# 检查缺失值
print(titanic.isnull().sum())
# age 177
# embarked 2
# deck 688 ← 大量缺失，可能需删除

数据筛选与索引

# 单列（返回 Series）
ages = titanic['age']

# 多列（返回 DataFrame）
subset = titanic[['name', 'age', 'fare']]

# 条件筛选
survived_females = titanic[(titanic['survived'] == 1) & (titanic['sex'] == 'female')]

# 使用 .loc（基于标签）
first_row = titanic.loc[0, ['name', 'age']]

# 使用 .iloc（基于位置）
first_three = titanic.iloc[:3, :5]  # 前 3 行，前 5 列

注意：& 代替 and，| 代替 or，且条件要用括号包围。

处理缺失值

# 方案 1：删除含缺失的行（谨慎使用！）
titanic_clean1 = titanic.dropna()

# 方案 2：用均值填充年龄
titanic['age'].fillna(titanic['age'].mean(), inplace=True)

# 方案 3：用众数填充登船港口
mode_embarked = titanic['embarked'].mode()[0]
titanic['embarked'].fillna(mode_embarked, inplace=True)

# 验证
print(titanic[['age', 'embarked']].isnull().sum())  # 应为 0

最佳实践是记录你做了什么处理，因为这直接影响模型效果。

特征工程初探

# 创建新特征：家庭规模 = 兄弟姐妹 + 父母子女 + 自己
titanic['family_size'] = titanic['sibsp'] + titanic['parch'] + 1

# 分箱：将年龄分为儿童/成人/老人
titanic['age_group'] = pd.cut(
    titanic['age'], bins=[0, 18, 65, 100], labels=['Child', 'Adult', 'Senior'])

# 编码分类变量（字符串 → 数字）
titanic['sex_encoded'] = titanic['sex'].map({'male': 0, 'female': 1})

print(titanic[['age', 'age_group', 'sex', 'sex_encoded']].head())

这些操作正是后续机器学习中'特征工程'的核心内容。

Matplotlib 与 Seaborn：用图表讲好数据故事

可视化是理解、沟通、发现的关键。

Matplotlib：基础绘图库

import matplotlib.pyplot as plt

# 设置中文字体（避免乱码）
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows
# plt.rcParams['font.family'] = 'Arial Unicode MS'  # macOS

# 示例 1：直方图（年龄分布）
plt.figure(figsize=(8, 5))
plt.hist(titanic['age'], bins=20, color='skyblue', edgecolor='black')
plt.title('泰坦尼克号乘客年龄分布')
plt.xlabel('年龄')
plt.ylabel('人数')
plt.grid(axis='y', linestyle='--', alpha=0.7)
plt.show()

Seaborn：统计可视化利器

Seaborn 提供更高层次的接口，一行代码即可生成精美图表。

import seaborn as sns

# 示例 2：生存率 vs 性别（柱状图）
plt.figure(figsize=(6, 4))
sns.barplot(x='sex', y='survived', data=titanic)
plt.title('不同性别的生存率')
plt.ylabel('生存概率')
plt.show()

输出将清晰显示：女性生存率远高于男性。

散点图与热力图

# 年龄 vs 票价，颜色表示是否生存
plt.figure(figsize=(8, 6))
sns.scatterplot(
    x='age', y='fare', hue='survived', data=titanic, alpha=0.7)
plt.title('年龄与票价的关系（按生存状态着色）')
plt.show()

# 选择数值列
numeric_cols = titanic.select_dtypes(include=['number']).columns
corr_matrix = titanic[numeric_cols].corr()

# 绘制热力图
plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0)
plt.title('数值特征相关性热力图')
plt.show()

你会发现 pclass（舱位等级）与 fare（票价）高度负相关——头等舱票价高，等级数字小。

端到端实战：从原始数据到洞察

整合三大工具，完成一个微型分析项目。

步骤 1：加载与清洗

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# 加载数据
df = sns.load_dataset('titanic')

# 基础清洗
df['age'].fillna(df['age'].median(), inplace=True)
df.drop(columns=['deck', 'embark_town'], inplace=True)  # 删除高缺失列
df.dropna(subset=['embarked'], inplace=True)

步骤 2：创建新特征

df['family_size'] = df['sibsp'] + df['parch'] + 1
df['is_alone'] = (df['family_size'] == 1).astype(int)

步骤 3：可视化关键发现

fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# 1. 舱位等级 vs 生存率
sns.barplot(x='pclass', y='survived', data=df, ax=axes[0, 0])
axes[0, 0].set_title('舱位等级与生存率')

# 2. 是否独自旅行 vs 生存率
sns.barplot(x='is_alone', y='survived', data=df, ax=axes[0, 1])
axes[0, 1].set_title('独自旅行与生存率')
axes[0, 1].set_xticklabels(['否', '是'])

# 3. 年龄分布（按生存状态）
df[df['survived'] == 1]['age'].hist(alpha=0.7, label='生存', ax=axes[1, 0])
df[df['survived'] == 0]['age'].hist(alpha=0.7, label='遇难', ax=axes[1, 0])
axes[1, 0].set_title('年龄分布对比')
axes[1, 0].legend()

# 4. 票价分布（对数尺度）
df.boxplot(column='fare', by='survived', ax=axes[1, 1])
axes[1, 1].set_yscale('log')
axes[1, 1].set_title('票价分布（对数尺度）')

plt.tight_layout()
plt.show()

关键洞察：

1. 头等舱生存率最高；
2. 结伴旅行者生存率更高；
3. 儿童生存率明显提升；
4. 高票价乘客更可能生存。

这些洞察可直接用于后续的机器学习建模。

常见陷阱与最佳实践

1. 不要滥用 inplace=True

虽然 df.dropna(inplace=True) 看似方便，但它会直接修改原数据，难以回溯。建议显式创建新对象：

df_clean = df.dropna()

2. 避免链式索引

错误写法：

df[df['age'] > 30]['fare'] = 100  # 可能报 SettingWithCopyWarning

正确写法：

df.loc[df['age'] > 30, 'fare'] = 100

3. 可视化前先检查数据分布

• 对长尾分布（如票价）使用对数尺度；
• 对分类变量确保类别不多；
• 添加标题、坐标轴标签、图例。

4. 保持代码可复现

• 设置随机种子：np.random.seed(42)
• 记录 Pandas/NumPy 版本。

后续学习方向

通过本文，你已经掌握了用 NumPy 处理数值、用 Pandas 清洗表格数据、用 Matplotlib/Seaborn 可视化规律。后续内容将深入探讨数据质量的五大维度、更高级的缺失值处理策略、异常值检测与特征缩放。这些内容将直接决定你未来模型的上限。

实践建议

1. 动手运行本文所有代码，不要只看；
2. 尝试用 Pandas 分析你自己的数据（如运动记录、账单）；
3. 在 Kaggle 上下载一个新数据集，重复本文流程；
4. 整理代码并归档，形成第一个数据作品。

记住：工具的价值不在'知道'，而在'用过'。你敲下的每一行代码，都在为未来的智能系统铺路。