梳理了构建 AI 应用所需的知识体系，对比了 Semantic Kernel 与 LangChain 框架的异同。详细阐述了大模型应用架构，包括纯 Prompt、Agent+Function Calling、RAG 及微调方案。重点介绍了 Prompt 工程的设计原则与多种提示框架（如 TAG、SPAR、TRACE），并深入解析了 CoT、Auto-CoT、TOT 及 ReAct 等推理架构在运维场景中的落地实践。此外，补充了安全与评估考量，旨在为提升运维效率与可观测性提供全面的技术参考。
Semantic Kernel 是 Microsoft 推出的一个开源框架，旨在帮助开发者构建和部署 AI 应用，特别是那些需要理解和生成自然语言的应用。它提供了一种结构化的方式来定义和管理技能（Skills），这些技能可以是简单的函数调用，也可以是复杂的 AI 模型交互。
LangChain 是一个开源框架，专注于构建应用，这些应用可以利用大型语言模型（LLMs）来执行各种任务，如回答问题、生成文本、执行代码等。它提供了一种灵活的方式来组合和调用不同的 LLMs，以及管理与这些模型的交互。
Semantic Kernel 和 LangChain 都是为了简化 AI 应用的开发，但它们的侧重点不同。Semantic Kernel 更注重技能的定义和管理，而 LangChain 则更侧重于大型语言模型的组合和调用。选择哪个框架取决于具体的应用场景和需求。在资源受限或需要快速迭代的场景下，Semantic Kernel 的轻量化特性可能更具优势；而在需要复杂编排和丰富生态集成的场景中，LangChain 则更为合适。
大模型应用通常遵循分层架构设计，包括数据层、模型层、应用层和交互层。数据层负责知识库和向量存储；模型层处理推理和微调；应用层实现业务逻辑；交互层提供用户接口。
就像和一个人对话，你说一句，ta 回一句，你再说一句，ta 再回一句。这种方式依赖模型本身的预训练知识，无需额外工具，适合简单问答。
RAG = Embeddings + 向量数据库。
努力学习考试内容，长期记住，活学活用。 目前传统的 FT 对于在运维体系中，特别是抽象对象的训练达不到一个很好的效果，所以我们也在尝试基于 DeepKe 的抽象方式做运维体系中的数据、文本做 FT，看是不是能把抽象的对象直接关系能理解清楚。
为什么要说 Prompt，其实有了架构，但如何让 LLM 理解你的推理依据，那就需要 Prompt 提示工程来解决。不同的 LLM 的 chat_template 的模版也是完全不同的，也就会导致不同的模型你用同一种 Prompt 的方式无法得到一样的答案，甚至于同一个模型多次重复同一个问题也会存在差异的现象。 从我的个人实践来说，总结主要有以下几条原则：
尽量多的提供任何重要的详细信息和上下文，说白了，就是把话说明白一点，不要一个太笼统。比如：不要说：'总结会议记录'，而是说：'用一个段落总结会议记录。然后写下演讲者的 Markdown 列表以及他们的每个要点。最后，列出发言人建议的后续步骤或行动项目（如果有）。'
你可以把大模型想象成一个演员，你要告诉他让他演什么角色，他就会更专业更明确。比如：充当一个喜欢讲笑话的喜剧演员，每当我请求帮助写一些东西时，你会回复一份文档，其中每个段落至少包含一个笑话或有趣的评论。
三引号、XML 标签、节标题等分隔符可以帮助划分要区别对待的文本节。可以帮助大模型更好的理解文本内容。我最喜欢用 """ 把内容框起来。比如：用 50 个字符总结由三引号分隔的文本。
"""
在此插入文字
"""
有些任务能拆就拆，最好指定为一系列步骤。明确地写出这些步骤可以使模型更容易去实现它们。比如：使用以下分步说明来响应用户输入。步骤 1 - 用户将为您提供三引号中的文本。用一个句子总结这段文字，并加上前缀'Summary:'。步骤 2 - 将步骤 1 中的摘要翻译成西班牙语，并添加前缀'翻译：'。
也就是经典的少样本提示，few-shot prompt，先扔给大模型例子，让大模型按你的例子来输出。比如：按这句话的风格来写 XX 文章：
"""
落霞与孤鹜齐飞，秋水共长天一色。渔舟唱晚，响穷彭蠡之滨
"""
可以要求模型生成给定目标长度的输出。目标输出长度可以根据单词、句子、段落、要点等的计数来指定。中文效果不明显，同时你给定的长度只是个大概，多少个字这种肯定会不精准，但是像多少段这种效果就比较好。比如：用两个段落、100 个字符概括由三引号分隔的文本。
对于不同的任务背景其实还需要使用不同的提示词框架来做具体任务的实现。以下是几种常见的框架及其逻辑：
以上不同的提示框架对于具体实际的应用场景中需要灵活的去实现，天下没有一招鲜的武功，要用好大模型提升助力，底层的逻辑实现与框架的了解是必不可少的，否则 LLM 只是一个聊天工具，并不能为你的工作带来质的提升。
上面几个 KeyPoint 解释了在 LLM 中实现应用的主要的技术或者方式，但真正要让 LLM 作为一个 AGENT 或者 Copilot 存在，还需要有一个关键的点，那就是如何让 LLM 知道你的推理方式。其实 LLM 解决只是技术差距的问题，但它无法解决提出问题的源头，所以其实在 LLM 的今天，对于大家来说有想法且逻辑清楚的人，有了 LLM 的加持可能真的会一飞冲天，如果你能提出好的问题，那么就能得到一个好的答案。
提示通过中间推理步骤实现了复杂的推理能力。您可以将其与少样本提示相结合，以获得更好的结果，以便在回答之前进行推理的更复杂的任务。对于解决数据等具体落地问题，可以显著提高大模型的推理方面的能力。
区别于传统的 Prompt 从输入直接到输出的映射 <input——>output> 的方式，CoT 完成了从输入到思维链再到输出的映射，即 <input——>reasoning chain——>output>。
例如，如果问题是'纽约到洛杉矶的距离是多少？'，模型可能首先检索纽约和洛杉矶的坐标，然后计算两点之间的距离，最后给出答案。在这个过程中，模型不仅提供了答案，还展示了其推理过程，增强了答案的可信度。
即利用 LLMs'让我们一步一步地思考'提示来生成一个接一个的推理链。这种自动过程仍然可能在生成的链中出现错误。为了减轻错误的影响，演示的多样性很重要。这项工作提出了 Auto-CoT，它对具有多样性的问题进行采样，并生成推理链来构建演示。 Auto-CoT 主要由两个阶段组成：
这里我可能需要特别说一下思维树这个框架，'TOT 思维树'并不是一个广泛认可或标准的术语，因此其具体定义可能在不同的上下文或领域中有所变化。但我们可以基于'思维树'的概念来理解它可能的含义。 思维树（Tree of Thoughts）是一种用于表示和组织思考过程的结构化方法，它以树状图的形式展示思考的层次和分支。在决策制定、问题解决、创意生成等场景中，思维树可以帮助人们系统地探索各种可能性，评估不同选项，从而做出更明智的决策。 在思维树中：
其实对于这个框架，我个人总结来看，可以理解为是一种结合了推理和行动的新型人工智能框架，主要用于增强 AI 系统在复杂环境中的决策能力和执行效率。ReAct 框架的核心思想是通过实时检索相关信息和执行基于这些信息的行动，来辅助 AI 系统进行更准确的推理和决策。 在 ReAct 框架中，AI 系统不仅依赖于其预训练的知识，还会在遇到新情况时，主动检索外部信息（如数据库、网络资源等），并将这些信息整合到其决策过程中。这一过程可以看作是 AI 系统在'思考'（Reasoning）和'行动'（Acting）之间的循环，其中：
在引入大模型至运维体系时，还需关注以下两点：
通过深度探索与实践，我们正逐步构建基于 LLM 的运维体系，旨在提升运维效率与可观测性。未来，我们将继续探索更多创新场景，推动 AI 技术在运维领域的广泛应用。大模型不仅是工具，更是能力的放大器，关键在于如何将技术与业务逻辑深度融合，构建可持续演进的智能运维生态。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online