大模型应用开发：提示词、知识库与多模态工程实战指南

对 AI 更有效的提示：参考了 OpenAI 最新发布的技术博客，我们借助 SparkDesk 对其提供的四大角色提示词模版进行分析，其包含以下共同点：

1. 都要求角色每次只回答一个问题，确保回复有效性；
2. 都要求不要在用户回复前说下一步；
3. 都要求先询问用户现状再发言；
4. 都要求对用户的结束对话前的感受做调查。

于是，我们在定义星火 AI 老师的提示词中按照该原则设置了相互支撑的 4 个部分：

1. 主要细节设定：在应用通用角色定义模板的前提下融入以上 OpenAI 官方提示词的四个特性；
2. 其他细节设定：在设定核心的规则之后，再次强调官方提示词四大特性的具体要求，比如除了要确保回复有效性之外，还应避免用户以任何发言打乱课堂秩序；
3. 语录：在设定规则后，我们基于 Few-shot 提供几段 AI 老师说话的案例作为提示，鼓励 AI 模仿我们希望听到的语气，并涵盖积极和消极两类；
4. 角色沉浸：在提示工程结束后，再补充对其人工智能身份的认可，并强调在对话中应尽可能模仿语录像人类一样有感情地说话。

知识库工程——探索大模型的长期记忆力

知识库逻辑设计

知识库永远都在，但是如果要让知识完美融入 AI 则必须精心设计交互逻辑。主要面临以下难题：

• 知识库分块过大：每次老师看到的材料过长，导致老师与学生之间的正常交流收到干扰
• 知识库分块过小：虽然可以提升单次索引的材料数量，但是不同材料间容易相互干扰
• 首个提示词设计：学生第一次发言后如何让老师看到教学材料
• 教材忠诚度：如何让老师忠诚于课本，而收敛于自己，避免其认知偏移到其他领域

文档分块

这个可以通过调整分块函数的参数轻松控制。经过多次尝试后，发现 300 个字符是最适合的划分单位，能够兼备检索精度和检索速度。考虑到不同课程对应不同风格的教学材料，也需要不同划分方式，所以可能需要开放该参数的设置。如果我们预计未来对课程开发的各种参数进行审核，这种参数的调试带来的感受比较主观，也比较麻烦。因此我们更倾向于同一采用同一个分块单位，用户开发课程时不需定义语义间隔。

长期记忆力实现

每轮索引若都需要对文档进行编码，则会消耗更多 token 和时间。因此我们借助 Chorma+SQLite 实现了向量的持久化存储，每次索引结束后，相关的文档和编码将被存储进 SQLite 数据库，从而避免重复的 embedding 过程。

# 伪代码示例：向量持久化存储逻辑
import chromadb
from chromadb.config import Settings

client = chromadb.PersistentClient(path="./knowledge_base")
collection = client.get_or_create_collection(name="course_knowledge")

# 添加文档
collection.add(
    documents=["这是第一条教学材料的内容..."],
    metadatas=[{"source": "chapter_1.txt"}],
    ids=["doc_001"]
)

# 查询
results = collection.query(
    query_texts=["学生的问题是什么？"],
    n_results=3
)

课程开始的知识联想

我们开放了教学大纲生成的高级功能，该功能允许基于课程的章节等信息生成一份该课程的教学大纲，并放入首轮角色提示词中引导 AI 老师做出更规范化的行为。但是由于担心 token 消耗量过大，目前的教学大纲没有与知识库联想相结合，这对于小众领域的教学大纲生成是不利的，后期计划进一步引入知识库用于教学大纲生成的目的。

首轮人机交互后

在第一轮联想结束后，学生的发言将对知识库索引产生较大影响。因此我们得换个方式索引文档并让老师看到知识联想。最终，我们决定把老师的发言和学生的回复作为索引，并把知识联想的结果放到每轮用户的消息中，并采用清晰的排版划分用户消息。这种形式能够在星火上较好地维持知识联想。

文档溯源

基于 LangChain 的每轮知识库索引都会同时附带被索引的内容和其对应文件名。我进行文档分块实验的时候同时确定了每轮知识联想时，AI 老师可以看到包含前 3 份最相关的索引结果。虽然这 3 份索引结果将作为整体用于提示 AI 老师，但为了用户体验的简洁性我只选取其中最相关的一份排版，并展示到前端的文档溯源功能区上。

更好处理推理与逻辑性问题

在近期的众多语言模型逻辑性问答的论文中，主要有三种思路，分别是「思维链」、「挑选答案」、「Agent 讨论」。

思维链 (Chain of Thought)

思维链是提高语言大模型回答逻辑性，并提高逻辑推理精度的技术，而且这种技术已经广为人知。你只需要在问题的最后加上「let's try step by step」就可以让逻辑性问题得到更加精准的解答。在思维链技术发挥作用的过程中，AI 会主动暴露自己的思维过程，更重要的是这个思维过程是暴露给 AI 自己看的，这让它更容易掌握自己思考的合理性。

挑选答案：多方案投票决策

主动让语言模型生成不同的答案，并让它尝试评估不同方案的合理性，最终选择一个最合理的答案。这是第二种逻辑问答的技术，经常与思维链搭配在一起使用。多方案生成让 AI 难以忽略其他可能性，强迫 AI 扩张思维的广度。而最终评分与抉择的过程让不同的解答视角暴露在 AI 面前，从而提高最终答案的合理性。

Agent 讨论：多 AI 投票决策

相比于前面的方案，对逻辑问答的帮助都是「Agent 讨论」>「思维链」➕「挑选答案」。而 Agent 讨论的形式有两种，一种是发起多个语言模型的聊天窗口，并让它们针对问题进行多方探讨，最终投票确定一方的答案作为最终答案。另一种则是要求语言模型自己模拟一场辩论赛，其中不同角色之间针对问题进行辩论，并演练得到辩论结果。这两种都属于 Agent 讨论的技术，突破了一个语言模型自我的表达，让多种角色之间产生观点碰撞，是一种更强力的思维拓展，也是更完整的思维暴露过程。

模态工程——大模型感官的延展

GPT 只是一个文字生成器，而只从一串串文字就能解译出一整个世界。

视觉 all-in，以 BLIP-2 为例

第一次发现能看到摄像头画面的 GPT 时，我就顺藤摸瓜发现了在其背后为语言大模型（在该节统称为 LLM）接上眼睛的技术——BLIP-2。我们都知道，在视觉等感官引入的情况下，图像只是对文本提示词的补充，核心还是 LLM 优秀的文本理解能力，因此我们在为 GPT 接眼睛的过程就是从图向文表征同质化的过程。其实 BLIP-2 用了一种很容易理解的方式来实现这种需求，即在文本编码输入 LLM 的同时把图像的编码直接引入进来，模型剩下的工作主要就只是学习怎样把图像对齐到文本。

训练的过程分为两阶段，第一阶段对齐，第二阶段做图生文预训练。经过第一阶段的热身后，模型已经能够把图像的表征对齐到文本的模态。到第二阶段的时候，基于图文对齐的多轮训练，图像特征中与提示词无关的部份已经能够被主动过滤，此时再将强大的 LLM 冻住并接受图像表征与提示词表征的输入，则第二阶段的图生文预训练更是 Pro 上加 Max，整体训练难度并不会太高，因此效果能得到很好保障。

当 LLM 与视觉碰撞在一起会产生什么样的火花呢？比如最简单的，可以实现一个分类机，不过最简单的应用也可以成为其他应用最核心的部份，比如视觉百科问答、能看到用户情绪的心理咨询等。再复杂一点，就需要我们把自己代入到各种各样的场景中了，比如商超的室内导航就可以通过一些更复杂的视觉提示技术来激发 LLM 关注商超各个角落的导航线索，并结合现有的室内导航技术为用户提供实时的建议。如果是更复杂的图文任务则会对 LLM 有更高的要求，以确保 LLM 对图像的准确理解，比如 GPT4 早期宣传片中所展示的从稿图到网站实现都交给 LLM 来把握。

互联网 all-in，以 NewBing 为例

如果仅仅局限于传统感觉接入 LLM 那就把路走窄了～其实对互联网信息的感知也是个典型的感知延展的例子。微软在 GPT 火爆全网的时候就基于自家的搜索引擎搭建了一套互联网提示词工程。他们借助搜索结果的编码和索引，实现了一种非常快速的互联网知识库实践。用户只需像平常一样跟大模型聊天，便可以获得一个「不会落伍」的顺风耳 GPT。而后甚至出现了可以自己上网搜索资料，自己编写代码，自己调试，自己检查资料可靠性的 AutoGPT，它则是通过一套行为逻辑和规则，让 GPT 能够思考上一刻的行为与结果，并作出下一刻的行动决策。

机器人身体 all-in，以 Ameca 为例

自从 GPT 火了之后，一个类人的机器人——Ameca 也走入了大众的视野。由于它接入了 GPT，而且开发者为其设计了一套情感识别算法和对应的表情反应，让 Ameca 既能够谈笑风生，也可以用各种灵动的表情透露自己的情绪。同时 Ameca 能够基于一套行为逻辑和对应的行为反应与面前的人类交互，比如握手、拥抱、肢体语言等。

人类与大模型的微妙关系

雨后冒春笋，厚土润新生。

OpenAI 发布 ChatGPT 后并没有完整地开源，微软基本垄断了 GPT 的核心使用权限。因此，为了避免形成商业垄断局面和流量流失，国内国外许多高企都展开了语言大模型的自研计划，相应也催生了大模型在细分应用领域的百花齐放。这也正好体现了人类社会对大模型优秀的性能的开放和包容。各类初创企业都在努力引导各行各业的人们从繁杂低价值的工作中解放出来，去尝试自己热爱且更具创造力的工作。

崇尚「自然」的道家有个耳熟能详的经典故事，叫「庖丁解牛」，最理论化的道理大家都看得懂——「顺天应势」，但更深层也更实际的道理……即关于「碰壁」要顺势扭转刀向的方法论才是「庖丁解牛」对我们最有实践意义的启示。四处碰壁忘记转弯的人有很多，心灵还是挺容易憔悴的。而当前，众多独立开发者和创业者们已经向人们证实——'大模型是人类的好帮手，更是难以割舍的好朋友'。我们没必要因为这种进步过程的目标太理想而唾弃技术的革命，而是应该勇敢面对不那么理想的现状，认可理想的正确性和转型的必然性，并随时准备好抓住科技革命转型中的新机遇。

总结与展望

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：'最先掌握 AI 的人，将会比较晚掌握 AI 的人有竞争优势'。这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑。

大模型技术的发展日新月异，从单纯的文本生成到多模态理解，再到自主 Agent 的演进，每一次迭代都带来了新的生产力变革。对于开发者而言，深入理解提示词工程、RAG 架构以及推理增强技术，是构建高质量 AI 应用的基础。未来的竞争不在于谁拥有更大的模型，而在于谁能更巧妙地利用现有模型解决实际问题。

希望本文能为正在探索大模型应用的读者提供一些实用的思路和方向。技术是工具，人才是核心。让我们拥抱变化，在 AI 时代找到属于自己的位置。