Python 数据科学工具链入门：NumPy、Pandas、Matplotlib 快速上手

3. 向量化运算

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
print(a + b)
print(np.sin(a))
print(a[a > 1])

4. 常用数学函数

arr = np.array([1, 2, 3, 4, 5])
print("均值:", np.mean(arr))
print("标准差:", np.std(arr))
print("最大值:", np.max(arr))

四、Pandas：让数据处理像 Excel 一样直观

Pandas 提供了 Series 和 DataFrame 结构，贴近人类思维的数据处理方式。

1. 创建 DataFrame

import pandas as pd
data = {'name': ['Alice', 'Bob'], 'age': [25, 30]}
df = pd.DataFrame(data)
print(df)

2. 读取真实数据

import seaborn as sns
titanic = sns.load_dataset('titanic')
print(titanic.head())
print(titanic.info())

3. 基础探索

print(titanic.shape)
print(titanic.describe())
print(titanic.isnull().sum())

4. 数据筛选与索引

subset = titanic[['name', 'age']]
survived_females = titanic[(titanic['survived'] == 1) & (titanic['sex'] == 'female')]
first_three = titanic.iloc[:3, :5]

5. 处理缺失值

titanic['age'].fillna(titanic['age'].mean(), inplace=True)
mode_embarked = titanic['embarked'].mode()[0]
titanic['embarked'].fillna(mode_embarked, inplace=True)

6. 特征工程初探

titanic['family_size'] = titanic['sibsp'] + titanic['parch'] + 1
titanic['age_group'] = pd.cut(titanic['age'], bins=[0, 18, 65, 100], labels=['Child', 'Adult', 'Senior'])
titanic['sex_encoded'] = titanic['sex'].map({'male': 0, 'female': 1})

五、Matplotlib 与 Seaborn：用图表讲好数据故事

可视化是理解、沟通和发现数据规律的关键。

1. Matplotlib 基础绘图

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.hist(titanic['age'], bins=20, color='skyblue')
plt.title('乘客年龄分布')
plt.show()

2. Seaborn 统计可视化

import seaborn as sns
sns.barplot(x='sex', y='survived', data=titanic)
plt.title('不同性别的生存率')
plt.show()

3. 散点图与热力图

sns.scatterplot(x='age', y='fare', hue='survived', data=titanic)
corr_matrix = titanic.select_dtypes(include=['number']).corr()
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')

六、端到端实战：从原始数据到洞察

整合三大工具分析泰坦尼克号乘客的生存影响因素。

步骤 1：加载与清洗

df = sns.load_dataset('titanic')
df['age'].fillna(df['age'].median(), inplace=True)
df.drop(columns=['deck', 'embark_town'], inplace=True)

步骤 2：创建新特征

df['family_size'] = df['sibsp'] + df['parch'] + 1
df['is_alone'] = (df['family_size'] == 1).astype(int)

步骤 3：可视化关键发现

fig, axes = plt.subplots(2, 2, figsize=(14, 10))
sns.barplot(x='pclass', y='survived', data=df, ax=axes[0, 0])
sns.barplot(x='is_alone', y='survived', data=df, ax=axes[0, 1])
df[df['survived'] == 1]['age'].hist(alpha=0.7, label='生存', ax=axes[1, 0])
df.boxplot(column='fare', by='survived', ax=axes[1, 1])
plt.tight_layout()
plt.show()

关键洞察

1. 头等舱生存率最高；
2. 结伴旅行者生存率更高；
3. 儿童生存率明显提升；
4. 高票价乘客更可能生存。

七、常见陷阱与最佳实践

1. 慎用 inplace=True，建议显式创建新对象以避免修改原数据。
2. 避免链式索引，使用 .loc 或 .iloc 防止 SettingWithCopyWarning。
3. 可视化前检查数据分布，长尾分布使用对数尺度。
4. 保持代码可复现，设置随机种子并记录版本。

八、总结

通过本文，掌握了 NumPy 数值处理、Pandas 表格数据清洗与探索、Matplotlib/Seaborn 可视化方法。后续可深入学习数据质量评估、高级缺失值处理、异常值检测及特征缩放等内容，为机器学习建模打下基础。