大模型学习笔记：基础概念与架构解析

2. 核心概念：Token 与参数

• Token：文本的最小处理单元。英文可能是单词或子词，中文可能是字或词的一部分。分词器（Tokenizer）负责将文本切分为 Token 序列。
• 参数（权重）：模型在训练过程中学习到的数值集合，存储在神经网络中。参数量越大，通常代表模型记忆和表达能力越强。
• 训练：通过海量数据优化参数，使模型预测误差最小化。
• 推理（生成）：使用训练好的参数对新输入进行预测。

3. 深层原理：Transformer 架构

目前主流大模型均基于 Transformer 架构。其核心创新在于自注意力机制（Self-Attention），允许模型在处理序列时关注任意位置的信息，解决了传统 RNN 难以捕捉长距离依赖的问题。

Transformer 关键组件

1. 多头注意力（Multi-Head Attention）：并行计算多个注意力头，捕捉不同维度的语义关系。
2. 前馈神经网络（Feed Forward Network）：对注意力输出进行非线性变换。
3. 层归一化（Layer Normalization）：稳定训练过程，加速收敛。
4. 残差连接（Residual Connection）：缓解梯度消失，允许信息直接传递。

五、用好 AI 的核心

将 AI 视为一个协作伙伴而非工具。需要明确其能力边界，设计合理的交互流程，并通过反馈不断优化提示词（Prompt）或模型行为。

六、大模型应用架构

大模型技术栈主要分为两部分：基础模型训练与应用开发。

• 基础模型训练：门槛极高，需大规模算力集群，由少数科技巨头主导。
• 应用开发：门槛相对较低，适合广大开发者利用 API 或开源模型构建业务。

1. 典型业务架构

2. 技术实现路线

（1）纯 Prompt Engineering

通过精心设计的提示词引导模型输出期望结果。适用于简单任务，成本低但稳定性受限。

（2）Agent + Function Calling

• Agent：具备规划、记忆和行动能力的智能体。
• Function Calling：模型调用外部 API 或函数获取实时数据或执行操作。

场景示例：用户询问旅行建议，Agent 主动询问预算，调用天气 API 获取目的地天气，再综合生成方案。

（3）RAG（检索增强生成）

解决模型知识滞后和幻觉问题。流程如下：

1. Embedding：将文档切片转换为向量。
2. 向量数据库：存储向量及其元数据。
3. 检索：根据用户问题向量搜索相似文档片段。
4. 生成：将检索内容作为上下文输入模型生成答案。

场景类比：考试时查阅课本资料作答，而非仅凭记忆。

（4）Fine-tuning（微调）

在预训练模型基础上，使用特定领域数据继续训练，使模型掌握专业术语或风格。

• 全量微调：更新所有参数，成本高，效果最好。
• 参数高效微调（PEFT）：如 LoRA，仅更新少量旁路参数，节省资源。

场景类比：长期备考，内化专业知识。

3. 技术路线选择策略

何时值得尝试 Fine-tuning？

1. 提高稳定性：固定输出格式或减少随机性。
2. 降低成本：针对特定任务微调小模型，替代大模型推理。
3. 提升速度：蒸馏或量化后的模型推理更快。
4. 数据安全：私有数据不经过公有云 API。

模型选型考量

• 合规与安全：确保模型符合法律法规及行业监管要求。
• 性能测试：使用标准数据集（如 MMLU, GSM8K）评估模型能力。
• 成本效益：平衡推理延迟与 Token 消耗。

七、总结与展望

大模型技术正在重塑软件开发的范式。从 Prompt 工程到 Agent 开发，开发者需要掌握新的技能树。未来趋势包括多模态融合、端侧部署以及更高效的推理优化。对于企业而言，关键在于找到技术与业务的结合点，通过 RAG 或微调构建差异化竞争力，而非盲目追求模型规模。

在实际落地中，应遵循'小步快跑'原则，优先验证高价值场景，逐步迭代系统架构。同时，需高度重视数据隐私、内容安全及伦理问题，建立完善的审核机制。