Dify + Skill 本地部署大模型智能体：企业级 AI Agent 构建指南

3. 能力深度定制

• 公有云 API 通常只提供基础文本生成
• 通过 Dify 的 Skill 机制，可无缝集成企业内部系统：
  • 调用 ERP 查询库存
  • 调用 OA 提交请假申请
  • 调用数据库生成报表

一句话总结：
Dify 是 '企业私有大模型的操作系统' —— 它不提供模型，但让任何本地模型都能变成智能生产力工具。

面试官追问：

你说 Dify 支持 Skill 机制。那 Skill 到底是什么？它和 LangChain 的 Tool 有什么区别？

候选人回答：

这是个很好的问题！Skill 在 Dify 中是一个标准化的插件接口，用于封装任意外部服务能力，供 Agent 调用。

Skill 的核心特点：

1. 声明式定义：通过 YAML 或 UI 表单定义输入/输出参数、描述、示例
2. 语言无关：Skill 可以是 Python 函数、HTTP API、Shell 脚本，甚至数据库查询
3. 自动注册：Dify 会自动将 Skill 注入到 LLM 的上下文中，模型根据用户意图决定是否调用
4. 执行隔离：Skill 在独立沙箱中运行，避免影响主服务

与 LangChain Tool 的对比：

举个例子：
我们要实现'查询员工剩余年假'功能：LangChain：需编写 @tool 装饰的 Python 函数，集成到 chain 中Dify：在 Web UI 中新建 Skill，填写：名称：get_annual_leave 描述：'查询指定员工的剩余年假天数' 参数：employee_id (string) 后端 URL：http://hr-system/api/v1/leave?emp_id={employee_id}

保存后，Agent 自动学会在用户问'我还有几天年假？'时调用该 Skill。

本质区别：
LangChain 是开发者框架，Dify Skill 是产品化能力——后者更贴近企业落地需求。

连环追问一：如何在本地部署 Dify 并接入开源大模型？

面试官追问：

假设我现在有一台 4×A10（共 160GB 显存）的服务器，想部署 Dify 并接入 Llama-3-8B-Instruct。请给出具体步骤。

候选人回答：

好的！我会采用 Docker Compose + vLLM 方案，兼顾易用性与性能。以下是详细步骤：

步骤 1：准备环境

# 安装 Docker 和 Docker Compose
sudo apt update && sudo apt install -y docker.io docker-compose
# 克隆 Dify 源码（含本地模型支持）
git clone https://github.com/langgenius/dify.git
cd dify

步骤 2：配置本地模型服务（vLLM）

Dify 本身不包含模型推理引擎，需单独部署。推荐 vLLM（高性能、支持 PagedAttention）：

# docker/docker-compose.override.yml
version: '3'
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - ./models:/models # 挂载模型目录
    command: >
      --model /models/Llama-3-8B-Instruct --tensor-parallel-size 4 # 4 卡并行
      --max-model-len 8192 --dtype auto
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 4
              capabilities: [gpu]

模型下载：
从 Hugging Face 下载 meta-llama/Meta-Llama-3-8B-Instruct 到 ./models/Llama-3-8B-Instruct

步骤 3：配置 Dify 连接本地模型

修改 .env 文件：

# 使用 OpenAI 兼容 API 模式
MODEL_PROVIDER=openai
OPENAI_API_BASE=http://vllm:8000/v1
OPENAI_API_KEY=EMPTY # vLLM 不需要 key
DEFAULT_LLM_MODEL=meta-llama/Llama-3-8B-Instruct

步骤 4：启动 Dify

# 构建并启动
docker-compose -f docker/docker-compose.yml -f docker/docker-compose.override.yml up -d
# 初始化（首次运行）
docker exec -it dify-api python manage.py init

步骤 5：验证

• 访问 http://<server_ip>:3000 进入 Web UI
• 在 'Settings → Model Provider' 中确认 Llama-3-8B 已激活
• 创建一个 Chat App，测试基础对话

性能实测：
Llama-3-8B + vLLM + 4×A10，P99 延迟 <1.2s，吞吐量 >80 tokens/s，完全满足企业内部使用。

连环追问二：如何开发一个自定义 Skill 并集成到 Agent？

面试官追问：

现在我们要实现一个'查询公司内部知识库'的 Skill，当用户问'差旅报销标准是什么？'，Agent 能自动调用该 Skill 返回答案。请说明开发流程。

候选人回答：

这是一个典型的 RAG + Skill 场景。我会分四步实现：

第一步：准备知识库

• 将公司制度文档（PDF/Word）转换为文本
• 使用 Dify 内置的 Dataset 功能 创建向量库：
  • 上传文档
  • 选择 Embedding 模型（如 BAAI/bge-large-zh-v1.5）
  • 自动生成分块与向量化

注意：Embedding 模型也需本地部署（Dify 支持对接 Jina、OpenAI 兼容 API）

第二步：开发 Skill（两种方式）

方式 A：使用 Dify 内置 Dataset Skill（推荐）

Dify 0.6+ 版本支持直接将 Dataset 暴露为 Skill：

• 在 Dataset 页面点击 'Enable as Skill'
• 系统自动生成 Skill，名称如 query_knowledge_base
• 描述：'根据用户问题检索内部知识库'

方式 B：自定义 HTTP Skill（更灵活）

若需复杂逻辑（如权限过滤），可开发独立服务：

# skill_server.py
from flask import Flask, request, jsonify
import requests

app = Flask(__name__)

@app.route('/search', methods=['POST'])
def search():
    query = request.json['query']
    user_role = request.json['user_role']
    # 从 Dify 透传
    # 调用 Dify Dataset API（需认证）
    resp = requests.post('http://dify-api/v1/datasets/<dataset_id>/query', json={'query': query}, headers={'Authorization':'Bearer <api_key>'})
    results = resp.json()['results']
    # 权限过滤：仅返回用户有权访问的片段
    filtered = [r for r in results if is_authorized(r['doc_id'], user_role)]
    return jsonify({'answer': filtered[0]['content'] if filtered else '无权限或未找到'})

def is_authorized(doc_id, role):
    # 实现 RBAC 逻辑
    pass

然后在 Dify Web UI 中注册该 Skill：

• URL: http://skill-server:5000/search
• 参数：query (string), user_role (string)

第三步：创建 Agent 应用

• 在 Dify 中新建 'Agent App'
• 选择 Llama-3-8B 作为模型
• 在 'Skills' 选项卡中启用 query_knowledge_base

配置 System Prompt：

'你是一个企业知识助手。当用户询问公司政策、流程时，请优先调用 query_knowledge_base 技能获取权威答案。'

第四步：测试与调试

• 用户提问：'差旅报销标准？'
• Agent 自动调用 Skill
• Skill 返回检索结果
• Agent 生成最终回复，并附带引用来源

关键优势：
通过 Skill 机制，RAG 能力被封装为原子服务，可被多个 Agent 复用，且与模型解耦。

连环追问三：如何确保本地部署的安全性与权限控制？

面试官追问：

企业最关心安全。假设 HR 问'张三的薪资是多少？'，而普通员工无权查看，你的系统如何拦截？

候选人回答：

这是企业级部署的核心挑战。我的安全体系分三层：

第一层：Dify 原生权限控制

• 多租户隔离：不同部门创建独立 Workspace
• RBAC（基于角色的访问控制）：
  • 角色：Admin、Editor、Viewer
  • 控制粒度：App 可见性、Dataset 访问、Skill 调用
• API Key 管理：每个应用生成独立 Key，可设置 IP 白名单

第二层：Skill 级权限校验（关键！）

即使用户能调用 Skill，也要在 Skill 内部做数据级权限过滤：

# 在自定义 Skill 中
def handle_query(query, user_id):
    # 1. 获取用户角色
    user_role = get_user_role(user_id)
    # 2. 检索知识库
    docs = vector_db.search(query)
    # 3. 过滤无权文档
    allowed_docs = []
    for doc in docs:
        if check_permission(doc.meta['acl'], user_role): # acl: ["hr", "finance"]
            allowed_docs.append(doc)
    # 4. 若无结果，返回无权限提示
    if not allowed_docs:
        return "您无权访问此信息。"
    return generate_answer(allowed_docs)

元数据设计：
每份文档入库时标注 acl（访问控制列表），如：

第三层：审计与监控

• 操作日志：Dify 自动记录所有对话、Skill 调用
• 敏感词扫描：在回复生成后，用正则匹配'薪资'、'合同'等关键词，触发告警
• 异常检测：监控高频查询同一敏感文档的行为，自动封禁账号

安全原则：
权限检查必须下沉到数据访问层，不能依赖 LLM '自觉'不输出敏感信息——因为模型可能被诱导或出错。

连环追问四：如何优化 RAG 效果与降低幻觉？

面试官追问：

即使做了权限控制，模型仍可能基于检索结果'过度发挥'，比如把'报销上限 5000 元'说成'5000 美元'。怎么解决？

候选人回答：

这是 RAG 系统的经典幻觉问题。我的优化策略是'精准召回 + 引用约束 + 置信度校准'：

1. 提升召回精度

• 混合检索：Dify 支持同时开启向量检索 + 关键词检索（BM25）
• 重排序（Re-ranking）：在 Dify 设置中启用 Cross-Encoder（如 BGE-reranker）

查询改写：在 Skill 中先用小模型澄清问题：

用户：'报销能报多少？'
改写：'国内出差交通与住宿费用报销上限是多少？'

2. 强制引用与约束生成

在 Agent 的 System Prompt 中明确指令：

'你必须严格遵循以下规则：仅使用下方【检索结果】中的信息回答数字、日期、金额等关键信息必须与原文一致在答案末尾标注引用来源，格式：[来源：《XX 制度》第 X 条]'

3. 后处理校验（Post-hoc Verification）

• 若校验失败，替换答案为：'信息可能存在误差，请以官方文件为准。'

开发一个轻量级校验模块，部署在 Dify 的 Webhook 中：

def verify_answer(question, retrieved_docs, answer):
    # 提取 answer 中的数值
    numbers_in_answer = extract_numbers(answer)
    # 检查是否在 retrieved_docs 中出现
    for num in numbers_in_answer:
        if not any(str(num) in doc.content for doc in retrieved_docs):
            return False, f"数字 {num} 未在文档中找到"
    return True, "OK"

4. 置信度阈值

• 当检索结果相关性分数 < 0.7 时，直接回复：'未找到明确依据，建议咨询相关部门。'

Dify 配置技巧：
在 Dataset 设置中开启 'Quote Source' 选项，Dify 会自动在 prompt 中插入带编号的引用片段，大幅降低幻觉率。

连环追问五：如何监控与持续迭代这个系统？

面试官追问：

系统上线后，你怎么知道它运行得好不好？有哪些监控指标和迭代机制？

候选人回答：

企业级系统必须可观测、可度量、可优化。我的监控体系如下：

核心监控指标（通过 Dify 内置 + Prometheus）

迭代机制：

1. 用户反馈闭环
   • 在聊天界面添加 '👍/👎' 按钮
   • 负反馈自动进入 Bad Case Pool
   • 每周 Review Bad Case，修正知识库或调整 Prompt
2. 自动化回归测试
   • 构建 200+ 覆盖核心场景的测试集
   • 每次更新模型/Skill 后自动运行
   • 关键指标下降 >5% 则阻断发布
3. 知识库健康度监控
   • 检测文档过期（如 '有效期至 2024'）
   • 检测知识冲突（同一问题多份文档说法不一）
   • 自动邮件通知知识管理员

Dify 实战技巧：
利用 Dify 的 'Logs' 和 'Annotations' 功能，可直接在 UI 中标注 bad case，用于后续微调或 RAG 优化。

连环追问六：未来演进——从问答到自动化工作流

面试官追问：

最后，你认为基于 Dify 的 Agent 未来还能做什么？仅仅是问答吗？

候选人回答：

绝不止于问答！Dify 的终极目标是成为'企业自动化操作系统'。未来方向包括：

1. 多 Skill 协同工作流

• 用户：'帮我完成 Q3 销售分析报告'
• Agent 自动编排：
  1. 调用 query_database 获取销售数据
  2. 调用 generate_chart 生成可视化
  3. 调用 write_report 撰写分析
  4. 调用 send_email 发送给领导

Dify 0.7+ 已支持 Workflow 编排，可通过拖拽实现。

2. 主动 Agent（Proactive Agent）

• 监听邮件/日历事件
• 自动触发任务：如'检测到客户投诉邮件 → 创建工单 + 通知客服'

3. 个性化记忆

• 为每个用户建立长期记忆向量
• 回答时结合历史偏好：'上次您偏好简洁版，本次生成简版报告'

4. 与现有系统深度集成

• 通过 Skill 对接 SAP、用友、钉钉、飞书
• 实现 '自然语言驱动 ERP' 的终极愿景

关键洞察：
未来的竞争不在模型大小，而在 'Agent 与企业业务流程的融合深度'。Dify + Skill 正是实现这一融合的最佳载体。

结语：本地化不是退步，而是企业 AI 落地的必经之路

通过这场模拟面试，我们系统性地走通了 'Dify + Skill + 本地大模型' 的全链路：

• 从 安全可控的部署架构
• 到 灵活强大的 Skill 开发
• 再到 企业级的权限、监控、迭代机制

这不仅是技术方案，更是一种务实的 AI 落地哲学：

不追求炫技，而追求可用；不依赖云端，而扎根业务。

对于实习生而言，掌握这套能力，意味着你能真正为企业创造价值，而非停留在 Demo 层面。

在这个 AI 重塑生产力的时代，愿你不仅能调通模型，更能构建安全、可靠、可信赖的企业智能体。

附录：常用命令与配置速查

1. 启动本地 Dify + vLLM

# 启动 vLLM
docker run --gpus all -v ./models:/models -p 8000:8000 \ vllm/vllm-openai --model /models/Llama-3-8B-Instruct --tensor-parallel-size 4
# 启动 Dify
cd dify && docker-compose up -d

2. Dify 环境变量关键配置

# .env
MODEL_PROVIDER=openai
OPENAI_API_BASE=http://host.docker.internal:8000/v1 # Docker 内访问宿主机
OPENAI_API_KEY=EMPTY
DEFAULT_LLM_MODEL=meta-llama/Llama-3-8B-Instruct
# Embedding 模型（本地）
EMBEDDING_MODEL=BAAI/bge-large-zh-v1.5
EMBEDDING_ENDPOINT=http://jina-embedder:8080/embeddings

3. 自定义 Skill 示例（HTTP）

# Skill 配置（Dify UI 中填写）
{
  "Name": "query_hr_policy",
  "Description": "查询人力资源政策",
  "URL": "http://skill-service:5000/hr",
  "Method": "POST",
  "Parameters": [
    {"name": "query", "type": "string", "required": true},
    {"name": "user_role", "type": "string", "required": true}
  ]
}

参考资料

1. Dify 官方文档: https://docs.dify.ai
2. vLLM: https://vllm.readthedocs.io
3. BGE Embedding: https://huggingface.co/BAAI/bge-large-zh-v1.5
4. OPA 权限控制: https://www.openpolicyagent.org