LLM 大模型技术实战 1：机器学习入门基础

数据预处理流程

输入（未处理的数据 + 标签）→ 处理过程（特征处理 + 幅度缩放、特征选择、维度约减、采样）→ 输出（测试集 + 训练集）。

评估指标

• **准确率（Accuracy）：**是指所有的判断中有多少判断正确的，即把正的判断为正的，还有把负的判断为负的；总共有 TP + FN + FP + TN 个，所以准确率：(TP+TN) / (TP+TN+FN+FP)。
• **召回率（Recall）：**是相对于样本而言的，即样本中有多少正样本被预测正确了，这样的有 TP 个，所有的正样本有两个去向，一个是被判为正的，另一个是错判为负的，因此总共有 TP+FN 个，所以，召回率 R = TP / (TP+FN)。
• **精确率（Precision）：**是相对于预测结果而言的，它表示的是预测为正的样本中有多少是对的；那么预测为正的样本就有两种可能来源，一种是把正的预测为正的，这类有 True Positive 个，另外一种是把负的错判为正的，这类有 False Positive 个，因此精确率即：P = TP/(TP+FP)。

五、机器学习分类

机器学习主要分为三大类：监督学习、非监督学习、强化学习，而监督学习和非监督学习中又衍生出半监督学习。

1. 监督学习（Supervised Learning）

监督学习是机器学习的一种方法，其模型是通过输入 - 输出（有标签的数据）对进行训练，目标是从给定的数据中学习一个映射函数，以便在给定新的输入时，模型可以预测相应的输出。训练过程涉及到输入数据和其相应的标签，并尝试找到这两者之间的关系。一旦模型被训练，它可以用来预测新、未标签数据的输出。

2. 非监督学习（Unsupervised Learning）

非监督学习模型被训练在没有标签的数据上。它的目的是学习数据的底层结构、分布或表示，而不是预测标签。与监督学习不同，非监督学习的目标并不是预测一个输出。相反，它试图通过某种方式学习数据的结构，这可以是通过聚类、降维或生成模型等方式来实现的。

无监督学习要解决的基本问题：

• **A. 聚类（Clustering）：**将样本集合中相似的样本分配到相同的类别。聚类学习时，样本通常是欧氏空间中的向量，类别事先不确定，它们是从数据中通过学习自动发现的，但类别的个数通常是要事前给定的。
• **B. 降维（Dimensionality reduction）：**将样本集合中的样本从高维空间转换到低维空间。通过降维可以更好的表示样本数据间关系和样本数据的结构。在从高维空间转换到低维空间的过程中，低维空间不是事先给定的，而是从样本数据中自动发现的，但低维空间的维度数通常是事先给定的。降维有线性降维和非线性降维。
• **C. 概率模型估计：**简称概率估计，它假设训练数据是由某个概率模型生成的，遵循着一定的概率分布，概率模型估计的目标就是通过训练数据来学习这个概率模型的结构和参数。

3. 强化学习（Reinforcement Learning）

强化学习是通过与环境交互来学习如何行动，从而最大化某种定义的长期回报。与传统的监督学习不同，强化学习通常涉及决策问题，其中每个行动都会影响未来的回报。

4. 半监督学习（Semi-supervised Learning）

半监督学习是介于两个极端之间（监督式是指整个数据集被标记，而非监督式是指没有标记）。半监督学习任务具有一个标记和一个未标记的数据集。它使用未标记的数据来获得对数据结构的更多理解。通常，SSL 使用小的带标签数据集和较大的未带标签数据集来进行学习。

为什么要用半监督学习？

• **数据标注成本高：**在很多应用中，收集大量数据是相对容易的，但为这些数据打标签则既昂贵又耗时。利用半监督学习，可以用少量的标注数据和大量的未标注数据共同训练模型。
• **利用数据的完整潜力：**未标记的数据包含有关数据分布的有用信息。半监督学习方法尝试利用这些信息来改善模型的性能。
• **提高泛化能力：**在某些情况下，利用大量的未标记数据可以帮助模型更好地泛化到新的、未见过的数据。
• **适应数据的变化：**在动态环境中，数据分布可能随时间而变化。利用半监督学习，可以定期利用新收集的未标记数据来更新模型，使其适应变化。

总之，半监督学习提供了一种在有限标记数据的情况下利用未标记数据的方法，这对于许多实际应用来说是非常有价值的。

六、常见算法简介

1. 监督学习算法

• **线性回归（Linear Regression）：**对数值型连续随机变量进行预测和建模的监督学习算法（即最后输出的特征向量的标签是连续值），即找拟合函数。

  • **特点：**简单、易于理解和实现，基于线性假设建立输入和输出之间的关系。
  • **应用场景：**预测房价、股票价格、温度等连续值问题。
  • **优点：**计算效率高，模型可解释性强。
  • **缺点：**假设数据符合线性关系，对于非线性问题需要转换或采用其他方法。

• **支持向量机 (SVM)：**目标在于在空间中寻找一个超平面，使得数据集可以被超平面分开，从而完成分类任务。

  • **特点：**能够处理线性和非线性问题，通过核技巧可以解决非线性分类问题。
  • **应用场景：**文本分类、图像识别、生物信息学等。
  • **优点：**在高维空间表现良好，对于边界清晰的分类问题效果优秀。
  • **缺点：**对于大规模数据集训练效率较低，参数选择和模型调优较为复杂。

2. 无监督学习算法

• **K-均值（K-Means）：**算法接受参数 k；然后将事先输入的 n 个数据对象划分为 k 个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较小。

  • **特点：**基于中心的聚类算法，通过迭代优化簇中心位置。
  • **应用场景：**市场细分、社交网络分析、图像分割等。
  • **优点：**算法简单，易于实现，计算效率高。
  • **缺点：**需要预先指定簇的数量，对初始簇中心敏感，可能陷入局部最优。

• **主成分分析 (PCA)：**一种统计方法，通过正交变换将数据转换到新的坐标系统，使得最大方差位于第一个坐标（主成分）。

  • **特点：**能够有效减少数据的维度，去除噪声，提取重要特征。
  • **应用场景：**数据降维、特征提取、图像压缩等。
  • **缺点：**可能会丢失一些重要信息，对于非线性数据降维效果不佳。

3. 深度学习算法

• **卷积神经网络 (CNNs)：**一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

  • **特点：**包含卷积层、池化层和全连接层，特别适合处理具有网格结构的数据，如图像。
  • **应用场景：**图像分类、物体检测、视频分析等。
  • **优点：**能够自动学习空间层次结构的特征，对于图像和视频数据效果显著。
  • **缺点：**对于序列数据的处理能力有限，需要大量标注数据进行训练。

• 循环神经网络 (RNNs)：

  • **特点：**具有循环结构，能够处理序列数据，捕捉时间序列中的动态时间行为。
  • **应用场景：**语言模型、机器翻译、时间序列预测等。
  • **优点：**能够处理任意长度的序列数据，捕捉长期依赖关系。
  • **缺点：**训练过程可能较慢，容易受到梯度消失或梯度爆炸的影响。

七、Python 实战示例

为了更直观地理解机器学习，以下提供一个简单的 Python 代码示例，展示如何使用 Scikit-learn 库进行线性回归。

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 1. 准备数据
# 假设我们有一组数据，x 是房间面积，y 是房价
X = np.array([[10], [20], [30], [40], [50]]) # 面积
y = np.array([100, 200, 300, 400, 500])      # 房价

# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 3. 创建模型
model = LinearRegression()

# 4. 训练模型
model.fit(X_train, y_train)

# 5. 预测
predictions = model.predict(X_test)

print(f"预测结果：{predictions}")
print(f"系数：{model.coef_}")
print(f"截距：{model.intercept_}")

八、总结

机器学习作为人工智能的核心分支，正在深刻改变着各行各业。从基础的数学建模到复杂的深度学习，理解其核心概念、分类及常用算法是入门的关键。在实际应用中，选择合适的算法、处理高质量的数据以及合理评估模型性能，是构建有效机器学习系统的重要步骤。随着技术的不断发展，掌握这些基础知识将为进一步探索大模型和前沿 AI 技术奠定坚实的基础。