大模型基础能力
当前大模型的应用主要基于两个核心能力：理解力与生成力。理解力涵盖内容概括、语意分析及语句结构化；生成力则负责内容创作。这两项能力推动了 RAG（检索增强生成）和 Agent（智能体）等概念的兴起，所有工具集均依赖于此。
OpenAI 提供了两类主要 API：Text Completion（文本补全）体现生成力；Chat Completion（对话补全）体现理解力并需维护上下文。两者常融合使用，但长上下文（Long Context）可能导致模型'消化不良'，降低记忆关联能力。例如，过长的输入可能使模型无法建立明确的上下文关联，导致回答质量下降。
模型分类
常用模型包括：
- 推理模型 (Inference)：即 Text-generation 模型，作为应用基座。
- Embedding 模型：用于文本向量化，支持检索。
- Rerank 模型：在 RAG 中对候选文档进行再排序，提高相关性。
- ASR 模型：语音转文字，如 Whisper。
- TTS 模型：文本转语音，如 VITS。
- 多模态模型：生图、生视频等。
我们所说的大模型一般是指推理模型，也是大部分应用的基座。基于推理模型结合其他开源模型，市面上已经出现了丰富的富有想象力的应用。
部署方式
LLM 的两种部署方式：
- 商业 API：快速集成，但存在数据安全隐患，不适合工业级私有化需求。
- 开源模型私有化：从托管平台拉取模型，结合 RAG 或微调技术进行个性化训练。
托管平台
Hugging Face 提供大量开源模型及数据集。例如 Llama3-8B 的中文微调版本可通过 GGUF 格式量化部署。GGUF 优化了内存映射，适合本地运行。Groq 等平台则以推理速度著称。
本地托管
使用 Ollama 可简化本地部署。安装后通过 ollama run llama3 启动。支持预训练 (pre-trained) 和指令微调 (instruct) 变体。对于自定义模型，需编写 Modelfile 指定源文件及参数。
ollama create MyModel -f Modelfile FROM /path/to/model.gguf
本地 UI
OpenWebUI 提供类似 ChatGPT 的界面，支持 Docker 部署，具备多模型切换、RAG 文档管理及模型管理功能。
代理层
LiteLLM 提供统一 API 接口，屏蔽底层模型差异，支持 100+ 大模型基座。通过配置文件定义模型列表及密钥，实现调用标准化。
定制化方案
针对特定场景，主要有微调 (Fine-tuning) 和 RAG 两种方式。
Fine-tuning
适用于需要深度掌握特定领域知识且资源充足的场景。流程包括：准备数据集、加载预训练模型、定义训练参数、优化器选择、训练及评估。使用 Hugging Face Transformers 库可实现简化流程。
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments
# ... 初始化模型与数据集 ...
trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset)
trainer.train()
RAG (检索增强生成)
将知识库向量化存储，分为 Load、Split、Embedding、Store、Retrieve、Query 六个步骤。 关键问题在于 Split 粒度：过大导致噪声，过小丢失上下文。解决方案包括窗口上下文检索。
LangChain 提供了多种 Retriever 机制：
- Vector Store Retriever：基于向量相似度检索。
- MultiQueryRetriever：多轮查询意图扩展。
- Self-Query Retriever：结构化元数据过滤。
- ContextualCompressionRetriever：检索后压缩提取关键信息。
工具化与 Agent
大模型赋予了传统 RPA（机器人流程自动化）'大脑'。
- Tools：工作流中的功能节点。
- Workflow：有向无环图 (DAG) 结构。
- Agent：自主决策单元，能规划动作并执行。
Agent 类型包括 Plan-and-Execute（计划执行）和 Action Agents（动作执行）。通过 LangChain 可构建具备记忆和工具调用能力的智能体。
from langchain.agents import initialize_agent, Tool
from langchain.llms import OpenAI
tools = [Tool(name="Search", func=search.run)]
agent_chain = initialize_agent(tools, llm, agent=AgentType.CONVERSATIONAL_REACT_DESCRIPTION)
工业应用场景
工业系统对精确性和实时性要求极高，LLM 不能直接替代决策引擎，但可在以下环节辅助：
规则引擎辅助
- 规则结构化：利用 LLM 将非结构化 PDF 规则转化为结构化数据，并配合验证工具纠错。
- 事实结构化：将自然语言询问（如"SPHC 钢种拉速"）解析为结构化参数传入规则引擎。
- 结果语义化：将精确数值结果转换为业务可读的自然语言描述。
表面质量缺陷检测
结合 CLIP 等多模态模型，将图像与文本映射至同一向量空间。通过检索历史缺陷图片及描述，辅助识别缺陷原因及处置方式。需注意场景差异小的识别难点。
最优化问题
在约束较多的最优化问题中，LLM 可辅助建模理解、参数调优提示，但无法直接求解。
会话专家系统
基于 MoE（混合专家）概念，构建垂直领域专家（如材料、工艺），专才回答擅长领域，避免全才模型的认知冲突。
MaaS 平台建设
企业应尽早构建私有化 MaaS（模型即服务）平台，整合知识库、基座模型及工具集，实现定制化增值。
总结
LLM 与工业系统的核心矛盾在于精确性与实时性。凡是需要精确且实时的系统，不建议直接使用 LLM 参与核心决策。大模型更适用于不精确、离线或非关键路径的环节，通过理解力和生成力提升效率。