LangSmith 是 LangChain 推出的 LLM 应用开发、监控和测试平台，覆盖原型开发、Beta 测试及生产全生命周期。核心功能包括 Agent 数据采集、Dashboard 项目监控、Trace 链路追踪、数据集管理与提示词优化。平台提供每月免费额度，支持 Python 集成，具备 Token 消耗统计、延迟分析及 A/B 测试能力。通过标准化追踪与评估流程，帮助开发者提升大模型应用的稳定性与可维护性，适用于企业级 AI 系统构建。
LangSmith 是 LangChain 自主研发的 LLM（大型语言模型）应用程序开发、监控和测试的一站式平台。它旨在帮助开发者构建、调试和优化基于大模型的复杂应用，提供从原型设计到生产部署的全生命周期支持。
LangSmith 通过追踪（Tracing）、评估（Evaluation）和数据集管理（Dataset Management）来增强对 LLM 应用的可见性。
LangSmith 将大模型应用的生命周期划分为三个阶段，覆盖从开发到上线的全过程。
此阶段主要关注代码调试、基础测试、Playground（沙盒环境）以及对测试结果进行比对。开发者可以在这里快速验证想法，调整 Prompt 参数，观察模型响应。
当产品进入公测时，部分用户开始参与使用。此阶段重点收集客户反馈及通过 LangSmith 收集的 Trace 信息。利用这些数据可以对大模型进行调优，优化用户体验，解决潜在问题。
在生产环境中，重点关注监控信息、A/B 测试以及自动化操作。例如创建规则对 Trace 进行管理，将数据发送到特定数据集，或进行在线评估以确保服务稳定性。
LangSmith Agent 是用于收集 LLM 大模型数据的探针。接入后，它可以自动捕获应用内的交互数据，无需修改大量业务逻辑代码。
通过 Agent 上报数据后，可在平台进行查看、跟踪、分析和监控。
列表页展示当前所有项目及其 Token 消耗、延迟等信息。默认账号会生成一个 default 项目。
提供多维度的监控分析能力，包括 Token 消耗趋势、模型调用耗时分布等。支持按项目、模型类型等维度过滤数据，帮助识别性能瓶颈。
用于归类 Projects 数据，将符合要求的调用链归集到同一个数据集中。支持导入外部数据集进行测试，并查看模型训练或评估的结果，辅助迭代优化。
Prompts 是与大模型交互的关键工具。LangSmith 允许集中管理提示词版本，引导模型生成特定主题或格式的文本，并提供上下文信息帮助理解任务。通过对比不同版本的 Prompt 效果，可快速找到最优解。
确保已安装 Python 环境，并通过 pip 安装 LangSmith SDK：
pip install langsmith
设置环境变量以连接 LangSmith 服务：
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_ENDPOINT=https://api.smith.langchain.com
export LANGCHAIN_API_KEY=your_api_key
在 LangChain 应用中启用追踪非常简单：
from langchain.chat_models import ChatOpenAI
from langsmith import traceable
@traceable
def generate_response(prompt: str):
llm = ChatOpenAI()
return llm.predict(prompt)
# 调用函数时会自动生成 Trace
response = generate_response("请介绍 LangSmith")
print(response)
LangSmith 是一款商业产品，使用需承担相应成本。为降低开发者门槛，平台提供了每月 5000 次的免费额度供个人开发者试用。超出部分根据实际用量阶梯计费，具体价格可参考官方文档。
LangSmith 为 LLM 应用开发者提供了强大的可观测性和调试工具。通过整合开发、测试和生产阶段的流程，它显著降低了大模型应用的维护成本，提升了交付质量。对于希望规模化落地 AI 应用的企业和个人而言，LangSmith 是一个不可或缺的基础设施组件。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online