翻译: 最小二乘法 - 交互式线性代数
1. 目标
- 学习最佳拟合问题的示例。
- 学习将最佳拟合问题转化为最小二乘问题。
- 秘诀：找到最小二乘解（两种方法）。
- 图片：最小二乘解的几何。
- 词汇： 最小二乘解。
在本节中，我们将回答以下重要问题：
假设 Ax =b 没有解决方案。最好的近似解是什么？
出于我们的目的，最佳近似解称为最小二乘解。我们将介绍两种寻找最小二乘解的方法，并将给出几种最佳拟合问题的应用。
2. 最小二乘解
我们首先明确我们对不一致矩阵方程的“最佳近似解”的含义Ax =b
回想起那个 dist(v, w) = ||v - w|| 是向量v和w之间的距离。 “最小二乘法”一词源于这样一个事实：
是向量项的平方和的平方根
所以最小二乘法最小化了条目之间差异的平方和
换句话说，最小二乘解解方程 Ax = b 尽可能接近，因为差的平方和 b − Ax 被最小化。
我们在学会了解决这种正交投影问题。
特别是，找到最小二乘解意味着求解一致的线性方程组。我们可以将上述定理转化为一个秘诀：
读者可能已经注意到，我们小心翼翼地用复数表示“最小二乘解”，而用不定冠词表示“最小二乘解”。这是因为最小二乘解不需要唯一：实际上，如果A 是线性相关的，那么
有无穷多个解。以下定理给出了唯一性的等效标准，是中该的类比。
像往常一样，在存在正交集的情况下，涉及投影的计算变得更容易。确实，如果A是一个 m×n具有正交列的矩阵
u1,u2,...,um 那么我们可以用的来写
请注意，在这种情况下，最小二乘解是唯一的，因为。
这个公式在科学中特别有用，因为具有正交列的矩阵在自然界中经常出现。
3. 最佳拟合问题
在本小节中，我们将给出最小二乘法在数据建模中的应用。我们从一个基本的例子开始。
示例（最佳拟合线） 假设我们测量了三个数据点(0, 6), (1, 0), (2, 0).
并且我们的这些数据模型断言这些点应该位于一条线上。当然，这三个点实际上并不位于一条线上，但这可能是由于我们的测量错误造成的。我们如何预测他们应该躺在哪条线上？
（非垂直）线的一般方程是 y = Mx + B
如果我们的三个数据点位于这条线上，那么将满足以下等式：
为了找到最佳拟合线，我们尝试在未知数中求解上述方程 M 和 B.
由于三个点实际上并不位于一条线上，因此没有实际解，因此我们计算最小二乘解。
把我们的线性方程变成矩阵形式，我们试图解决 Ax=b 为了
我们在这个解决了这个最小二乘问题：唯一的最小二乘解 Ax=b是
所以最合适的线是
最佳拟合线最小化这些垂直距离的平方和。
以上所有示例都具有以下形式：一定数量的数据点(x, y) 被指定，我们想找到一个函数
强调功能的性质 gi 真的无关紧要，请考虑以下示例。
高斯发明了最小二乘法来找到最合适的椭圆：他正确预测了小行星谷神星在 1801 年从太阳后面经过时的（椭圆）轨道。
参考
https://textbooks.math.gatech.edu/ila/least-squares.html
