Python 数据分析学习路线总结

我们在拿到需要分析的数据后，千万不要急于立刻开始做回归、分类、聚类分析。

第一步应该是认真理解业务数据，可以试着理解去每个特征，观察每个特征，理解它们对结果的影响程度。

然后，慢慢研究多个特征组合后，它们对结果的影响。

4.2 明确各个特征的类型

如果这些数据类型不是算法部分期望的数据类型，你还得想办法编码成想要的。比如常见的数据自增列 id 这类数据，是否有必要放到你的算法模型中，因为这类数字很可能被当作数字读入。

某些列的取值类型，虽然已经是数字了，它们的取值大小表示什么含义你也要仔细捉摸。因为，数字的相近相邻，并不一定代表另一种层面的相邻。

4.3 找出异常数据

统计中国家庭人均收入时，如果源数据里面，有王建林，马云等这种富豪，那么，人均收入的均值就会受到极大的影响，这个时候最好，绘制箱形图，看一看百分位数。

4.4 处理缺失值

现实生产环境中，拿到的数据恰好完整无损、没有任何缺失数据的概率，和买彩票中将的概率差不多。

数据缺失的原因太多了，业务系统版本迭代，之前的某些字段不再使用了，自然它们的取值就变为 null 了；再或者，压根某些数据字段在抽样周期里，就是没有写入数据……

4.5 头疼的数据不均衡问题

理论和实际总是有差距，理论上很多算法都存在一个基本假设，即数据分布总是均匀的。这个美好的假设，在实际中，真的存在吗？很可能不是！

算法基于不均衡的数据学习出来的模型，在实际的预测集上，效果往往差于训练集上的效果，这是因为实际数据往往分布得很不均匀，这时候就要考虑怎么解决这些问题。

5 Python 核心知识

5.1 理解 Python 的解释性

Python 是解释型语言，对于 Python 刚刚入门的小伙伴，可能对解释性有些疑惑。不过，没关系，我们可以通过大家已经熟悉的编译型语言，来帮助我们理解 Python 的解释性。

编译型语言，如 C++、Java，它们会在编译阶段做类型匹配检查等，因此，数据类型不匹配导致的编译错误，在编译阶段就会被检查出来，例如：

# Java/C++ 示例对比
int a = 0;
double b = 0.0;
// a = b; // 编译报错：类型不匹配

但是，Python 就不会在编译阶段做类型匹配检查，比如，Python 实现上面的几行语句，会这样写：

a = 0  # 不做任何类型声明
b = 0.0
a = b  # 这种赋值，Python 会有问题吗？

答案是不会的。此处就体现了 Python 的解释特性，当我们把 0 赋值给 a 时，Python 解释器会把它 a 解释为 int 型，可以使用内置函数 type(variable) 显示地检查 variable 的类型：

In [70]: type(a)
Out[70]: int
In [69]: type(b)
Out[69]: float
In [71]: a = b  # 在把 float 型 b 赋值给 a 后，a 就被解释为 float
In [72]: type(a)
Out[72]: float

在把 float 型 b 赋值给 a 后，a 就被解释为 float。

5.2 list, dict, tuple, set

深拷贝和浅拷贝的区别。

5.3 Python 列表生成式

如何灵活使用。

5.4 Python 函数式编程

闭包问题。

5.5 位置参数和关键字参数

如果介绍 Python 入门，不介绍函数的位置参数 (positional argument) 和关键字参数 (keyword argument)，总是感觉缺少点什么，它们在 Python 函数中到处可见，理解和使用它们，为我们日后深入 Python 打下坚实的根基。

6 Excel 数据分析

6.1 Excel 处理 10 万条以内数据

6.2 以 SUM 函数为首的求和家族

6.3 以 VLOOKUP 函数为首的查找家族

6.4 以 IF 函数为首的逻辑函数家族

大家自行查阅学习。

7 Pandas 数据预处理

7.1 基于 Python 的向量化增强

7.2 必须掌握的传播机制

广播发生的条件。

7.3 一维 Series 和二维 DataFrame

7.4 Pandas 中的 20 个统计学函数

7.5 Pandas 三个函数搞定缺失值

7.6 1 个函数搞定数据透视

8 数据建模分析

8.1 统计学基础知识

首先，入门数据分析需要必备一些统计学的基本知识，在这里我们简单列举几个入门级的重要概念。概率，平均值，中位数，众数，四分位数，期望，标准差，方差。在这些基本概念上，又衍生出的很多重要概念，比如协方差，相关系数等。

这一系列常用的统计指标，都在强大的数据分析包 Pandas 中实现了，非常方便。

8.2 统计量描述

说统计学是一种基于事实的演绎学问，它是严谨的，可以给出确切解释的。

不过，机器学习就不一样了，它是一门归纳思想的学问，比如深度学习得出的模型，你就很难解释其中的具体参数为什么取值为某某某。它的应用在于可以提供一种预测，给我们未来提供一种建设性的指导。

数据分析师需要了解机器学习的基本理论、常见的那十几种算法，这样对于我们做回归、分类、聚类分析，都是不可缺少的。

8.3 机器学习回归分析

三个假定是？ 如何建立线性回归模型？ 最大似然估计求参数？ 梯度下降求解优化问题？ 手写不调包实现的 5 个算子 手写不调包实现的整体算法框架

8.4 基本的分类、聚类算法

8.5 特征工程提高分析精度

一般来说，特征工程大体上可以分为三个方面，一是特征构造，二是特征选择，三是特征生成。

9 数据可视化

9.1 必备的绘图原理知识

拿使用较多的 matplotlib 为例，整个图像为一个 Figure 对象，在 Figure 对象中可以包含一个或多个 Axes 对象，每个 Axes 对象都是一个拥有自己坐标系统的绘图区域。

Axes 由 xaxis, yaxis, title, data 构成，xaxis 由坐标轴的线，tick 以及 label 构成。

9.2 matplotlib 绘图

（图示：Matplotlib 绘图示例）

9.3 绘图必备代码参考

（此处省略具体代码，建议查阅官方文档）

10 数据挖掘分析

10.1 正则表达式

学习正则表达式语法，主要就是学习元字符以及它们在正则表达式上下文中的行为。常见的元字符比如普通字符、标准字符、特殊字符、限定字符（又叫量词）、定位字符（也叫边界字符）。

10.2 决策树

决策树 对决策树剪枝 sklearn 分类和回归 提炼出分类器算法

10.3 贝叶斯方法

朴素贝叶斯分类器：例子解释 朴素贝叶斯分类：拉普拉斯修正 单词拼写纠正器 python 实现 半朴素贝叶斯分类

10.4 集成学习方法

XGBoost 思想 XGBoost 模型构造 XGBoost 安装及实战应用

10.5 NLP

一文了解自然语言处理的每个范畴用到的核心技术，难点和热点 NLP 入门：CNN, RNN 应用文本分类，个性化搜索，苹果和乔布斯关系抽取