Python 结合 Excel 进行高效数据分析与处理指南

Python 基础

3.1 数据类型

和其他编程语言一样，Python 会区别对待数字、文本、布尔值等数据。Python 的做法是为它们赋予不同的数据类型（data type）。最常用的数据类型有整型、浮点型、布尔值和字符串。本节会通过一些例子对它们进行逐一介绍。要理解什么是数据类型，需要先解释一下什么是对象。

3.2 索引和切片

索引和切片让你可以访问一个序列的指定元素。字符串是字符的序列，我们可以通过字符串来学习这种机制。下一节还会介绍其他支持索引和切片的序列，比如列表和元组。

3.3 数据结构

Python 提供了强大的数据结构以便于处理对象集合。本节会介绍列表、字典、元组和集合。虽然每种数据结构有各自的特点，但它们有一个共同特点，即都能存储多个对象。在 VBA 中，你可能用过集合或者数组来保存多个值。VBA 也提供了一种名为字典的数据结构，这和 Python 中的字典是一样的，不过还是只能用在 Windows 中。现在先来学习最常用的数据结构——列表。

3.4 控制流

本节会介绍 if 语句、for 循环和 while 循环。if 只会在满足特定条件时执行特定的代码，for 循环和 while 循环会反复执行代码块中的代码。在本节末尾，我还会介绍列表推导式，它可以代替 for 循环完成列表的构造。本节首先会介绍代码块的定义，同时还会介绍 Python 最值得注意的特点：有特殊含义的空白。

3.5 组织代码

在本节中我们会了解到如何让代码形成可维护的结构：首先会介绍函数的核心知识，然后会教你如何将代码分成不同的 Python 模块。在本节末尾，我们会运用所学知识研究标准库中的 datetime 模块。

3.6 PEP 8：Python 风格指南

你可能很好奇为什么我有时候在变量名中加下划线，有时候又会把变量名全部大写。在本节中，我会一边介绍 Python 官方的风格指南，一边解释我在格式化方面的选择。Python 使用所谓的 Python 改进提案（Python Enhancement Proposals，PEP）来讨论新语言特性的引入。Python 代码的风格指南就是其中之一。这些提案一般用数字来表示，代码风格指南就被称作 PEP 8。PEP 8 是一系列提供给 Python 社区的风格建议。如果使用相同代码的所有人都遵循相同的代码风格，那么写出的代码可读性就会更高。在开源的世界中，会有很多互不相识的程序员开发同一个项目，此时遵循相同的代码风格会显得尤为重要。

例 3-2 中这个简短的 Python 文件展示了最重要的编程惯例。

例 3-2 pep8_sample.py

"""这个脚本展示了一些 PEP 8 的规则
"""
import datetime as dt
TEMPERATURE_SCALES = ("fahrenheit", "kelvin", "celsius")

class TemperatureConverter:
    pass # 暂时不做任何事

def convert_to_celsius(degrees, source="fahrenheit"):
    """这个函数将华氏度或开氏度转化为摄氏度
    """
    if source.lower() == "fahrenheit":
        return (degrees - 32) * (5/9)
    elif source.lower() == "kelvin":
        return degrees - 273.15
    else:
        return f"Don't know how to convert from {source}"

celsius = convert_to_celsius(44, source="fahrenheit")
non_celsius_scales = TEMPERATURE_SCALES[:-1]
print("Current time: " + dt.datetime.now().isoformat())
print(f"The temperature in Celsius is: {celsius}")

1. 在文件顶部用文档字符串（docstring）解释这个脚本或者模块做了些什么。文档字符串是一种特殊的字符串，它用 3 个引号引用。除了作为代码的文档，它还可以用来编写跨越多行的字符串。如果你的字符串中有很多双引号或单引号，那么也可以用文档字符串来避免转义。
2. 所有的导入语句都应该放在文件顶部，一行一个导入。从标准库导入的内容放在前面，然后是第三方包，最后是自己编写的模块。不过这个例子中只用到了标准库。
3. 用大写字母和下划线表示常量。每行的长度不超过 79 个字符。尽可能地利用圆括号、方括号或花括号隐式跨行。
4. 类、函数和其他代码之间用两个空行隔开。
5. 尽管很多类像 datetime 一样使用小写字母命名，但是你自己编写的类也应该使用首字母大写的名称（CapitalizedWords）。
6. 行内注释应该和代码间隔至少两个空格。代码块应该用 4 个空格缩进。
7. 在能够提高可读性的情况下，函数和参数应该使用小写字母和下划线命名。不要在参数名和默认值之间使用空格。
8. 函数的文档字符串应当列出函数参数并解释其意义。
9. 冒号前后不要使用空格。
10. 可以在算术运算符前后使用空格。如果同时使用了优先级不同的运算符，则应当考虑在优先级最低的运算符前后添加空格。

变量名称使用小写字母。在可以提升可读性的前提下使用下划线。为变量赋值时，在等号前后添加空格。不过在调用函数时，不要在关键字参数前后使用空格。在进行索引和切片时，不要在方括号前后使用空格。这只是对 PEP 8 的一个简单介绍，在你开始认真使用 Python 之后，应该看一下 PEP 8 的原文。PEP 8 明确指出，这些规则只是建议，应当优先考虑你自己的编程风格。毕竟统一性才是最重要的。如果你对其他公开的编程风格指南感兴趣，也可以看一下谷歌的 Python 风格指南，它和 PEP 8 比较接近。实际上大部分 Python 程序员并未严格遵循 PEP 8，最常见的错误是每行超过了 79 个字符。在编写代码时，要保持格式规整可能很难，不过你可以利用工具让它自动检查代码是否遵循了某种编程风格。下一节会教你如何使用 VS Code 进行自动格式化。

pandas 入门

4.1 NumPy 数组

正如第 3 章所描述的那样，如果要对嵌套列表进行数组运算，可以使用循环来完成。例如，要为嵌套列表中的每一个元素都加上 1，可以使用下面的嵌套列表推导式：

In [1]: matrix = [[1, 2, 3],
                [4, 5, 6],
                [7, 8, 9]]
In [2]: [[i + 1 for i in row] for row in matrix]
Out[2]: [[2, 3, 4], [5, 6, 7], [8, 9, 10]]

但是这样的代码可读性很低。更关键的是，在面对更大的数组时，遍历整个数组会非常慢。如果你的用例和数组大小合适的话，那么使用 NumPy 数组进行运算会比 Python 列表快上几百倍。为了达到如此高的性能，NumPy 利用了用 C 和 Fortran（它们都是编译型语言，比 Python 要快得多）编写的代码。NumPy 数组是保存同构数据（homogenous data）的 N 维数组。'同构'意味着数组中的所有数据都必须是相同类型。最常见的情况就是处理一维和二维的浮点数数组。

下面来创建一个一维数组和一个二维数组，本章会一直使用这两个数组。

In [3]: # 首先导入 NumPy
import numpy as np

In [4]: # 使用列表构造一个一维数组
array1 = np.array([10, 100, 1000.])

In [5]: # 使用嵌套列表构造一个二维数组
array2 = np.array([[1., 2., 3.],
                   [4., 5., 6.]])

数组维度 要注意一维数组和二维数组之间的区别。一维数组只有一个轴，因此不区分行数组和列数组。这和 VBA 中的数组是类似的，但是如果你是从 MATLAB 等语言转过来的，那么可能需要花点儿时间习惯 NumPy 的做法。

即使 array1 除了最后一个元素（浮点数）之外全是整数，但由于 NumPy 对同构的要求，这个数组的数据类型依然是 float64，这个类型足以容纳所有的元素。要想了解一个数组的数据类型，可以访问它的 dtype 属性：

In [6]: array1.dtype
Out[6]: dtype('float64')

dtype 返回的是 float64 而不是第 3 章中介绍过的 float。你可能已经猜到了，NumPy 使用的是它自己的数值数据类型，它们比 Python 的数据类型粒度要细。通常这都不是问题，因为大部分时候 Python 和 NumPy 中的不同数据类型可以自动转换。如果你需要显式地将 NumPy 数据类型转换成 Python 的基本数据类型，只需使用对应的构造器即可：

In [7]: float(array1[0])
Out[7]: 10.0

在 NumPy 的文档中可以看到 NumPy 数据类型的完整列表。我们马上就会看到，有了 NumPy 数组，就可以以简洁的方式执行数组运算了。

5.2 数据操作

真实世界的数据并非天上掉下来的，在使用数据之前，需要对其进行清理，使其更易于理解。在本节开头，先来看看如何从 DataFrame 中选取数据，如何修改数据，以及如何处理缺失和重复的数据。然后再对 DataFrame 进行一些运算，看看如何处理文本数据。在本节末尾，你会明白 pandas 什么时候会返回视图，什么时候又会返回数据的副本。本节中的很多概念和我们在第 4 章的 NumPy 数组中看到的是相关联的。

5.3 组合 DataFrame

在 Excel 中组合不同的数据集是一件麻烦事，通常需要用到很多 VLOOKUP 公式。幸运的是，DataFrame 的组合是 pandas 的'撒手锏'，数据对齐机制也会让实现相关功能获得极大的便利，进而能够减少错误发生的可能性。组合和合并 DataFrame 的方法有很多，本节会涉及最常用的 concat、join 和 merge。虽然这些函数的功能有重叠的部分，但是每一个函数都可以让一类特定的工作更加轻松。我会先介绍 concat 函数，然后解释 join 函数的不同选项，最后介绍通用性最高的 merge 函数。

5.4 描述性统计量和数据聚合

让大型数据集更有条理的方法之一是计算整个数据集或者子集上的描述性统计量，比如总和或平均值。本节首先会介绍如何在 pandas 中计算这些统计量，然后会介绍将数据聚合到子集中的两种方式：groupby 方法和 pivot_table 函数。

5.5 绘图

绘图可以将数据分析的结果可视化，这可能是整个数据分析过程中最重要的一步。我们需要用到两个库来进行绘图，首先来看 pandas 默认的绘图库 Matplotlib，之后再着眼于另一个现代化的绘图库，即 Plotly，我们可以用它在 Jupyter 笔记本中获得更好的交互式体验。

5.6 导入和导出 DataFrame

到目前为止，我们用各种方式构造了 DataFrame：嵌套列表，字典和 NumPy 数组。知道这些技巧很有必要，但是很多时候我们的数据已经准备好了，你只需要将它录入 DataFrame。要做到这一点，pandas 为你提供了各种读取函数。但即便要访问一个专用的系统且 pandas 没有提供内置的读取器，你通常也有一个 Python 包来连接这个系统，一旦获得了数据，要把数据录入 DataFrame 也就很容易了。在 Excel 中，数据导入通常是 Power Query 的工作。在分析和修改数据集之后，你可能想把结果推送回数据库或者导出到一个 CSV 文件中，又或者如本书书名所述，把它放到 Excel 工作簿中给你的上级看。要导出 pandas DataFrame，可以使用 DataFrame 提供的导出方法。表 5-7 展示了最常用的导入和导出方法。

总结

通过本文的介绍，我们了解了 Python 与 Excel 结合使用的巨大潜力。从环境搭建到基础语法，再到 pandas 的核心数据处理功能，这一套流程能够帮助用户摆脱繁琐的手工操作。掌握这些技能后，你可以构建更健壮的应用程序，处理更大规模的数据集，并将分析结果无缝地反馈回 Excel 环境中。这不仅提高了工作效率，还减少了人为错误的风险。对于希望提升数据分析能力的 Excel 用户来说，学习 Python 是一条值得投入的路径。