Python 数据科学工具链入门：NumPy、Pandas、Matplotlib 实战指南

3. 向量化运算

无需循环即可对数组整体进行操作，这是 NumPy 的核心优势。

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

# 元素级加法
print(a + b)  # [5 7 9]

# 元素级乘法
print(a * b)  # [4 10 18]

# 条件筛选
print(a[a > 1])  # [2 3]

三、Pandas：表格数据处理

如果说 NumPy 是引擎，Pandas 就是驾驶舱。它提供了 Series 和 DataFrame 结构，让处理表格数据像操作 Excel 一样直观。

1. 创建 DataFrame

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['NYC', 'LA', 'Chicago']
}
df = pd.DataFrame(data)
print(df)

2. 读取与探索数据

使用经典的泰坦尼克号数据集进行演示。Seaborn 内置了该数据集，方便直接调用。

import seaborn as sns

titanic = sns.load_dataset('titanic')

# 查看前 5 行
print(titanic.head())

# 基本信息（含缺失值统计）
print(titanic.info())

# 数值列统计摘要
print(titanic.describe())

# 检查缺失值
print(titanic.isnull().sum())

注意观察输出中的 Non-Null Count，这能帮你快速定位数据质量问题。

3. 筛选与索引

# 单列返回 Series
ages = titanic['age']

# 多列返回 DataFrame
subset = titanic[['name', 'age', 'fare']]

# 条件筛选
survived_females = titanic[(titanic['survived'] == 1) & (titanic['sex'] == 'female')]

# 基于标签索引
first_row = titanic.loc[0, ['name', 'age']]

# 基于位置索引
first_three = titanic.iloc[:3, :5]  # 前 3 行，前 5 列

⚠️ 注意：布尔筛选时使用 & 代替 and，| 代替 or，且条件需用括号包围。

4. 缺失值处理

# 方案 1：删除含缺失的行（谨慎使用）
df_clean1 = titanic.dropna()

# 方案 2：用均值填充年龄
titanic['age'].fillna(titanic['age'].mean(), inplace=True)

# 方案 3：用众数填充登船港口
mode_embarked = titanic['embarked'].mode()[0]
titanic['embarked'].fillna(mode_embarked, inplace=True)

# 验证
print(titanic[['age', 'embarked']].isnull().sum())

5. 特征工程初探

# 创建新特征：家庭规模
titanic['family_size'] = titanic['sibsp'] + titanic['parch'] + 1

# 分箱：将年龄分为儿童/成人/老人
titanic['age_group'] = pd.cut(
    titanic['age'], 
    bins=[0, 18, 65, 100], 
    labels=['Child', 'Adult', 'Senior']
)

# 编码分类变量
titanic['sex_encoded'] = titanic['sex'].map({'male': 0, 'female': 1})

四、可视化：Matplotlib 与 Seaborn

图表是理解数据分布和关系的关键。

1. 基础设置

import matplotlib.pyplot as plt

# 设置中文字体（避免乱码）
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows
# plt.rcParams['font.family'] = 'Arial Unicode MS'  # macOS

2. 绘制直方图

plt.figure(figsize=(8, 5))
plt.hist(titanic['age'], bins=20, color='skyblue', edgecolor='black')
plt.title('乘客年龄分布')
plt.xlabel('年龄')
plt.ylabel('人数')
plt.grid(axis='y', linestyle='--', alpha=0.7)
plt.show()

3. Seaborn 统计绘图

Seaborn 基于 Matplotlib，提供更高级的接口。

import seaborn as sns

# 生存率 vs 性别
plt.figure(figsize=(6, 4))
sns.barplot(x='sex', y='survived', data=titanic)
plt.title('不同性别的生存率')
plt.ylabel('生存概率')
plt.show()

4. 热力图：相关性分析

numeric_cols = titanic.select_dtypes(include=['number']).columns
corr_matrix = titanic[numeric_cols].corr()

plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0)
plt.title('数值特征相关性热力图')
plt.show()

五、端到端实战：泰坦尼克号分析

整合上述工具，完成一次完整的微型分析。

步骤 1：加载与清洗

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

df = sns.load_dataset('titanic')

# 基础清洗
df['age'].fillna(df['age'].median(), inplace=True)
df.drop(columns=['deck', 'embark_town'], inplace=True)
df.dropna(subset=['embarked'], inplace=True)

步骤 2：特征构建

df['family_size'] = df['sibsp'] + df['parch'] + 1
df['is_alone'] = (df['family_size'] == 1).astype(int)

步骤 3：可视化洞察

fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# 1. 舱位等级 vs 生存率
sns.barplot(x='pclass', y='survived', data=df, ax=axes[0, 0])
axes[0, 0].set_title('舱位等级与生存率')

# 2. 是否独自旅行 vs 生存率
sns.barplot(x='is_alone', y='survived', data=df, ax=axes[0, 1])
axes[0, 1].set_title('独自旅行与生存率')
axes[0, 1].set_xticklabels(['否', '是'])

# 3. 年龄分布对比
df[df['survived'] == 1]['age'].hist(alpha=0.7, label='生存', ax=axes[1, 0])
df[df['survived'] == 0]['age'].hist(alpha=0.7, label='遇难', ax=axes[1, 0])
axes[1, 0].set_title('年龄分布对比')
axes[1, 0].legend()

# 4. 票价分布（对数尺度）
df.boxplot(column='fare', by='survived', ax=axes[1, 1])
axes[1, 1].set_yscale('log')
axes[1, 1].set_title('票价分布（对数尺度）')

plt.tight_layout()
plt.show()

关键发现：

1. 头等舱（pclass=1）生存率最高。
2. 结伴旅行者生存率更高。
3. 儿童（<10 岁）生存率明显提升。
4. 高票价乘客更可能生存。

六、最佳实践与避坑

1. 慎用 inplace=True：虽然看似方便，但会直接修改原数据，难以回溯。建议显式创建新对象。
2. 避免链式索引：
   • 错误：df[df['age']>30]['fare']=100（可能报 SettingWithCopyWarning）
   • 正确：df.loc[df['age']>30, 'fare']=100
3. 保持代码可复现：设置随机种子 np.random.seed(42)，并记录库的版本号。
4. 可视化规范：长尾分布使用对数尺度，确保图表包含标题、坐标轴标签和图例。

七、后续进阶方向

掌握了基础工具后，可以进一步关注：

• 数据质量的五大维度（完整性、一致性、准确性等）；
• 高级缺失值处理策略（插值、模型预测填充）；
• 异常值检测与处理；
• 特征缩放（标准化、归一化）的必要性。

这些内容将直接影响后续机器学习模型的效果上限。建议在实际项目中反复练习代码，将理论转化为肌肉记忆。