机器学习常见名词汇总
机器学习
机器学习是人工智能的一个分支，它让计算机系统能够从数据中学习并提升性能，而无需进行显式的编程。算法利用统计技术识别数据中的模式，使计算机能够做出预测或决策。
主要特点：
- 数据驱动：模型性能高度依赖输入数据的质量。
- 模式识别：自动识别数据规律以预测新结果。
- 自适应：随着数据积累，模型性能可随时间改进。
- 算法多样：涵盖监督、无监督及强化学习等多种方法。
应用领域：语音识别、图像识别、推荐系统、自然语言处理及预测分析等。
深度学习
深度学习是机器学习的子集，基于人工神经网络（特别是深层网络）的概念。它模仿人脑工作方式，通过多层网络学习复杂模式。
主要特点：
- 多层结构：包含多个隐藏层，能学习抽象表示。
- 自动特征提取：减少手动特征工程需求。
- 大数据需求：通常需要大量数据训练。
- 计算密集型：依赖 GPU 等强大算力。
应用领域：语音助手、面部识别、自动驾驶、机器翻译及游戏模拟（如 AlphaGo）。
神经网络
神经网络由神经元组成，其基本运算逻辑如下：
- y：预测输出或目标变量。
- f()：激活函数（如 ReLU、sigmoid），引入非线性，增强模型表达能力。
- W：权重矩阵，包含待优化的参数。
- x：输入数据矩阵，行代表样本，列代表特征。
- θ：偏置项，允许模型在无输入时产生非零输出。
与传统机器学习的区别：深度学习模型更复杂，需更多数据和算力；传统机器学习依赖特征工程，而深度学习可自动学习特征；前者适合大规模复杂问题，后者在小数据场景下可能更稳健。
硬件与框架
NPU
神经处理单元（Neural Processing Unit）专为优化 AI 和神经网络任务设计的硬件。相比 CPU 和 GPU，NPU 在处理小规模并行计算时效率更高，特别适合图片、视频等多媒体数据处理。
CUDA
CUDA（Compute Unified Device Architecture）是 NVIDIA 开发的并行计算平台。它允许开发者使用 GPU 进行通用计算，提供丰富的 API 加速计算密集型应用。
Torch 与 PyTorch
Torch 是一个科学计算框架，最初用 Lua 开发，以动态图和自动求导著称。PyTorch 则是 Facebook 开源的 Python 版本，继承了 Torch 的设计理念但提供了更友好的 API。PyTorch 的动态计算图允许在运行时定义和调整计算图，灵活性极高，是目前学术界和工业界的主流选择之一。
微调技术
FT (Fine-Tuning)
通常指在预训练模型基础上进行微调。使用特定任务数据调整模型权重，使其更好地执行该任务。FT 常用于分类、回归等任务，通常在模型最后几层进行，保留底层通用特征权重。
