大模型应用（一）核心功能与场景实战指南

返回结果中，choices 的 message 会包含 tool_calls 结构：

{
	'role': 'assistant',
	'content': None,
	'tool_calls': [{
		'id': 'call_o7uyztQLeVIoRdjcDkDJY3ni',
		'type': 'function',
		'function': {
			'name': 'get_current_weather',
			'arguments': '{\n  "location": "Glasgow, Scotland",\n  "format": "celsius"\n}'
		}
	}]
}

识别到函数调用后，开发者需在服务端执行对应的逻辑实现（如调用第三方天气 API），并将结果反馈给模型进行最终回复。

Embedding 向量检索

在传统推荐系统中，Item 向量化（Embedding）是关键步骤。大模型同样利用 Embedding 将文本转化为向量空间中的点，从而支持语义搜索和相似度匹配。

使用 OpenAI SDK 生成文本向量：

from openai import OpenAI
client = OpenAI()

response = client.embeddings.create(
    input="Your text string goes here",
    model="text-embedding-ada-002"
)

print(response.data[0].embedding)

返回结果为浮点数数组，代表文本的语义特征。这些向量可存入向量数据库（如 Milvus, Pinecone, Chroma），用于构建知识库问答系统。

Fine-tuning 微调

如果对通用模型的效果不满意，可以直接对模型参数进行调整（Fine-tuning）。这种方式适用于特定领域的数据训练，例如情感分析或特定风格的对话。但在大多数通用场景下，Prompt Engineering 或 RAG（检索增强生成）更为高效且成本更低。

多模态：图片生成与理解

日常交互中，图片内容日益重要。ChatGPT 发布的视觉理解能力令人印象深刻。

只需上传图片或链接，并配合提示词即可让模型描述图片内容。官方推荐的视觉模型为 gpt-4-vision-preview。

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
  model="gpt-4-vision-preview",
  messages=[
    {
      "role": "user",
      "content": [
        {"type": "text", "text": "What's in this image?"},
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
          },
        },
      ],
    }
  ],
  max_tokens=300,
)

print(response.choices[0])

关于图片生成（如 DALL·E 3），建议根据具体需求选择专业工具（如 Midjourney），大模型主要侧重于理解与逻辑推理。

模型选择与 Token 管理

在选用模型前，需了解窗口大小（Context Window）和 Token 的概念。

大模型无法无限记忆上下文。窗口大小限制了单次对话能处理的最大 Token 数。常见的窗口大小为 8k、16k、32k，即 8192、16384、32768 个 Token。目前较新的模型（如 gpt-4-1106-preview）支持高达 128,000 Tokens。

推荐配置：

• 逻辑与准确率：推荐使用 gpt-4-32k。
• 图片理解：使用官方主推的 gpt-4-vision-preview。
• 速度与性价比：gpt-3.5-turbo-16k 反应速度快，在高并发请求下性能优于 GPT-4，适合对延迟敏感的场景。

Token 优化策略：

1. 精简 Prompt，去除冗余信息。
2. 使用更高效的模型版本。
3. 合理控制输入输出长度。

个性化与差异化回复

如何让模型对不同用户表现出差异化？

主要通过动态生成 Prompt 实现。例如，在询问天气时，不同城市的用户需要不同的穿衣建议。这要求在会话时上报用户的地理信息，并将其注入 Prompt 中。

除了 system 角色，也可以在 user 消息中增加多重定义来实现个性化需求，确保回复贴合用户背景。

解决模型记忆力过短问题

模型记忆丢失主要有两方面原因：

1. 窗口限制：上文超出窗口导致遗忘。
   • 对策：更换更大窗口的模型，或优化对话结构（如摘要历史对话）。注意，窗口越大，处理速度越慢，成本越高。
2. 长周期记忆缺失：如三个月前的个人信息，模型可能无法记住。
   • 对策：利用 Function Call 记录关键信息到外部数据库。在新会话开始时，从数据库读取用户信息并注入 Prompt 中，实现长期记忆。

企业私有数据接入方案

如何让模型知晓企业私有数据？

1. 微调（Fine-tuning）：适用于情感类或风格类数据。例如，用特定角色的文本来训练模型回复风格。
2. 向量库检索（RAG）：适用于新闻、文档等知识类数据。
   • 流程：利用大模型的 Embedding 能力将私有数据向量化并存入向量库。用户提问时，先在向量库召回相关片段，再调用大模型进行语义整合与回答。
   • 框架：可参考 LangChain 等框架简化开发流程。

实现主动式交互

主流模式仍是人主动问模型。如何实现模型主动触发任务？

仍需借助 Function Call。例如，用户指令 三个小时后帮我订一份肯德基。模型识别出定时意图后，调用预设的定时任务函数，将任务写入调度队列。三小时后自动触发执行。

工作流与人性化体验

单一任务往往需要模型与多个插件配合。为了提升协作效率和人性化程度，可构建工作流（Workflow）。

以查询天气为例：

1. 调用天气插件获取原始 JSON 数据。
2. 将数据再次传入大模型，要求按人设转换为自然语言。

原始数据： 上海天气：多云，最低温度 -2℃，最高温度 2℃...

优化后回复： 上海今天多云，最低温度 -2℃，最高温度 2℃，建议着厚羽绒服等隆冬服装；体弱者尽量少出门。

这种二次处理构成了基本的工作流：工具调用 -> 数据处理 -> 模型润色 -> 用户展示。随着插件增多，可通过编排引擎实现更复杂的自动化任务。

生产环境注意事项

在实际落地中，还需关注以下问题：

1. 安全性：防止 Prompt 注入攻击，对用户输入进行过滤和校验。
2. 成本控制：监控 Token 消耗，设置预算上限，避免意外高额账单。
3. 稳定性：网络波动可能导致 API 调用失败，需实现重试机制和降级策略。
4. 合规性：确保生成内容符合法律法规，特别是涉及隐私数据和敏感话题时。

结语

大语言模型技术仍在快速发展，面临的问题与挑战并存，但前景广阔。对于开发者而言，掌握 Prompt 工程、Function Call、RAG 架构及工作流编排，是构建高质量 AI 应用的关键。未来，随着多模态能力的增强和 Agent 技术的成熟，AI 将在更多复杂场景中发挥核心价值。