Dify + Skill 本地部署实战：构建企业级 AI Agent 完整指南

4. 启动 Dify：

docker-compose -f docker/docker-compose.yml -f docker/docker-compose.override.yml up -d
docker exec -it dify-api python manage.py init

5. 验证：访问 Web UI，确认模型激活，测试对话。

实际测试中，Llama-3-8B 在 vLLM 上 P99 延迟小于 1.2 秒，吞吐量超过 80 tokens/s，对企业内部足够。

开发一个自定义 Skill：内部知识库查询

常见场景：用户问'差旅报销标准是什么？'，Agent 自动调用 Skill 检索公司制度文档。

实现思路：利用 Dify 的 Dataset（向量库）并封装为 Skill。

步骤：

1. 准备知识库：将文档上传到 Dify Dataset，选择本地 Embedding 模型（如 BAAI/bge-large-zh-v1.5），自动分块和向量化。Embedding 服务也可以本地部署。
2. 创建 Skill：两种方式，A）直接在 Dataset 页面启用'Enable as Skill'；B）开发自定义 HTTP Skill 实现更复杂逻辑（例如权限过滤）。

这里展示 B 方式的部分代码：

# skill_server.py
from flask import Flask, request, jsonify
import requests

app = Flask(__name__)

@app.route('/search', methods=['POST'])
def search():
    query = request.json['query']
    user_role = request.json['user_role']
    # 调用 Dify Dataset API
    resp = requests.post('http://dify-api/v1/datasets/<dataset_id>/query',
                         json={'query': query},
                         headers={'Authorization': 'Bearer <api_key>'})
    results = resp.json()['results']
    # 权限过滤
    filtered = [r for r in results if is_authorized(r['doc_id'], user_role)]
    return jsonify({'answer': filtered[0]['content'] if filtered else '无权限或未找到'})

def is_authorized(doc_id, role):
    # 实现 RBAC 逻辑
    pass

然后在 Dify UI 中注册该 Skill：填写名称、描述、URL、参数等。

3. 创建 Agent 应用：选择模型，在 Skills 里启用该 Skill，设置 System Prompt 要求优先调用知识库。
4. 测试：用户提问，Agent 自动调用 Skill 并返回引用来源。

这样把 RAG 封装为原子服务，可复用且与模型解耦。

安全与权限控制

企业级系统必须做细粒度权限。Dify 本身提供多租户、RBAC、API Key 管理。但关键是在 Skill 内部做数据级过滤：根据用户角色决定可查看的文档，在检索后按 ACL 过滤。每份文档入库时标注 ACL 元数据。审计方面，Dify 自动记录操作日志，可以配合敏感词扫描和异常检测。权限检查不能只靠 LLM 自觉，必须下沉到数据访问层。

RAG 效果优化与幻觉抑制

模型可能过度发挥，把'上限5000元'说成'5000美元'。优化思路：

• 提升召回：混合检索（向量+BM25）、重排序（Cross-Encoder）、查询改写。
• 约束生成：在 System Prompt 中严格限制只使用检索内容，要求引用来源。
• 后处理校验：用规则检查回答中的数字是否在源文档中出现，不匹配则提示可能误差。
• 置信度阈值：当检索得分低于 0.7 时，直接回复未找到依据。

Dify 内置的'Quote Source'选项可以自动在 Prompt 中插入带编号的片段，降低幻觉。

监控与迭代

上线后需要关注任务成功率、幻觉率、权限违规、延迟、Skill 调用失败率等。利用 Dify 的日志和 Annotations 功能标注 Bad Case，结合用户反馈循环进行迭代。建立自动化回归测试，知识库健康度监控，确保系统可持续优化。

未来方向：从问答到自动化工作流

基于 Dify 的 Agent 可以走向多 Skill 协同（如自动生成销售报告）、主动 Agent（监听事件触发任务）、个性化记忆、与 ERP/钉钉/飞书深度集成。未来的竞争在于 Agent 与业务流程的融合深度，Dify + Skill 是很好的载体。

结语

本地化部署不是退步，而是企业 AI 落地的务实路径。掌握 Dify + Skill + 本地大模型的组合，意味着能真正为企业创造价值，而不仅仅是 Demo。

附录：常用命令速查

• 启动 vLLM：

docker run --gpus all -v ./models:/models -p 8000:8000 \
  vllm/vllm-openai --model /models/Llama-3-8B-Instruct --tensor-parallel-size 4

• 启动 Dify：cd dify && docker-compose up -d
• 关键环境变量：.env 示例见上文。
• 自定义 Skill HTTP 配置示例：
  • Name: query_hr_policy
  • Description: 查询人力资源政策
  • URL: http://skill-service:5000/hr
  • Method: POST
  • Parameters: query (string, required), user_role (string, required)

参考资料：

• Dify 官方文档: https://docs.dify.ai
• vLLM: https://vllm.readthedocs.io
• BGE Embedding: https://huggingface.co/BAAI/bge-large-zh-v1.5
• OPA 权限控制: https://www.openpolicyagent.org