Python 数据分析全流程指南：从基础到建模实战

3. 数据筛选与分组

# 条件筛选
filtered_df = df[df['age'] > 30]
# 分组聚合
grouped = df.groupby('department')['salary'].mean()

四、利用 Python 分析建模

在建模阶段，常用 Statsmodels 进行统计推断，Scikit-learn 进行机器学习。

1. 统计建模 (Statsmodels)

适用于假设检验和回归分析：

import statsmodels.api as sm
X = sm.add_constant(df['feature'])
model = sm.OLS(df['target'], X).fit()
print(model.summary())

2. 机器学习 (Scikit-learn)

适用于分类、回归和聚类任务：

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测与评估
y_pred = model.predict(X_test)

五、利用 Python 数据可视化

可视化是沟通分析结果的关键，Matplotlib 和 Seaborn 是主流库。

1. 基础折线图

import matplotlib.pyplot as plt
plt.plot(df['date'], df['value'])
plt.xlabel('Date')
plt.ylabel('Value')
plt.show()

2. 分布直方图

import seaborn as sns
sns.histplot(df['salary'], kde=True)
plt.show()

六、总结

掌握 Python 数据分析需要熟悉 Pandas 进行数据处理，结合 Scikit-learn 进行建模，并利用 Matplotlib 进行展示。建议在实际项目中不断练习上述流程，积累处理真实数据的经验。