企业落地大模型的路径选择
一、大模型的核心特点与挑战
与传统确定性软件不同，大语言模型（LLM）在企业级应用中表现出显著的特性差异，理解这些特性是制定落地策略的前提。
1. 输出不确定性
模型的生成过程基于概率分布。即使输入完全相同的 Prompt，多次调用也可能得到不同的结果。这种非确定性在创意类场景中可接受，但在涉及生产安全、财务数据或操作规范的场景下，必须通过技术手段提高稳定性。
2. 知识静态性
预训练模型的知识截止于训练数据结束的时间点，且无法直接访问企业内部私有数据（如内部规章制度、最新代码库、业务规范）。若需让模型掌握这些动态变化的私域知识，必须引入外部机制。
针对上述问题，优化方向主要分为两个维度：
- 行为优化：调整模型的表达风格、逻辑推理方式或任务执行能力（横轴）。
- 上下文优化：补充模型未知的领域知识，增强回答的相关性和准确性（纵轴）。
二、三种主流优化方法详解
1. 提示词工程（Prompt Engineering）
提示词工程是通过设计输入文本引导模型生成高质量输出的技术。它是成本最低、见效最快的方式，应作为首选方案。
核心技巧
- 零样本学习（Zero-shot）：直接给出指令，不依赖示例。
- 少样本学习（Few-shot）：提供少量输入输出示例，让模型模仿模式。
- 思维链（Chain of Thought, CoT）：引导模型分步思考，提升复杂推理任务的准确率。
# 示例：使用 Few-shot 优化客服回复
prompt = """
用户：我的订单为什么还没发货？
助手：您好，查询到您的订单处于待处理状态，预计 24 小时内发货。
用户：我想修改收货地址。
助手："""
优缺点
- 优点：无需训练，部署灵活，迭代快。
- 缺点：效果受限于模型基座能力，难以处理超长上下文，稳定性波动较大。
2. 检索增强生成（RAG）
RAG 并非单一工具，而是一种架构模式。它通过在生成前检索外部知识库，将相关信息注入上下文，解决模型知识滞后和幻觉问题。
工作流程
- 索引构建：将企业文档切片、向量化并存入向量数据库。
- 检索：根据用户问题计算相似度，召回相关片段。
- 生成：将召回内容作为 Context 拼接至 Prompt，驱动模型生成答案。
适用场景
- 问答系统、知识库检索、合规性检查。
- 需要频繁更新知识但无需改变模型能力的场景。
局限性
- 检索精度直接影响回答质量（Garbage In, Garbage Out）。
- 增加系统延迟和基础设施成本。
3. 微调（Fine-tuning）
微调是在预训练模型基础上，使用特定领域数据继续训练，以优化模型在特定任务上的表现。
主要类型
- 全量微调：更新所有参数，成本高，适合数据量大且需求独特的场景。
- 参数高效微调（PEFT/LoRA）：仅更新少量旁路参数，保留基座泛化能力，成本低，目前主流方案。
