使用 Llama3 与 MaxKB 搭建本地私有 AI 知识库

第四步：创建知识库

知识库是存储企业文档的核心组件。

1. 在左侧菜单选择'知识库'，点击'新建知识库'。
2. 知识库类型：
   • 通用型：支持手工录入文本或上传文档（PDF, Word, TXT 等）。
   • Web 站点：自动爬取指定 URL 的网页内容。
   • 本例选择'通用型'。
3. 基本信息：填写知识库名称（如'医疗器械产品库'）和描述。
4. 上传文档：
   • 点击上传按钮，导入产品说明书、技术手册等文件。
   • 系统会自动进行智能分段处理，将长文档切分为小块以便检索。
   • 若对分段效果不满意，可进入编辑模式手动调整段落边界。
5. 确认无误后点击'导入'，系统将开始向量化处理。

第五步：创建智能助手

助手是将知识库转化为对话能力的入口。

1. 在'助手'模块点击'新建助手'。
2. 基本信息：设置助手名称（如'产品咨询助手'）和头像。
3. 关联知识库：勾选上一步创建的'医疗器械产品库'。
4. 提示词配置：
   • 系统预设了通用的问答提示词。
   • 可根据业务场景优化，例如：'你是一名专业的医疗器械销售顾问，请根据知识库内容回答客户问题，语气专业且亲切。'
5. 调试设置：
   • 进入调试界面，输入测试问题查看回答质量。
   • 检查引用来源，确保答案有据可依。
6. 发布助手，获取访问链接或 API 密钥。

第六步：集成与应用

搭建完成后，可通过以下方式将能力赋能业务。

1. 直接访问

通过浏览器访问生成的助手链接，供内部员工或外部客户使用。

2. 嵌入网站

MaxKB 支持生成 iframe 代码，可嵌入企业官网或微信小程序 H5 页面。

<iframe src="http://your-domain.com/chat" width="100%" height="600px"></iframe>

3. API 对接

通过调用 MaxKB 提供的 RESTful API，可将问答能力集成到自有系统中。

import requests

url = "http://127.0.0.1:8080/api/v1/kb/chat"
headers = {"Authorization": "Bearer YOUR_API_KEY"}
data = {
    "question": "这款产品的适用人群有哪些？",
    "knowledge_base_id": "kb_id_123"
}
response = requests.post(url, json=data, headers=headers)
print(response.json())

常见问题与优化建议

1. 模型响应慢

• 原因：本地硬件资源不足或模型参数过大。
• 解决：尝试使用更小参数量模型（如 Llama3-8B-Instruct），或开启 GPU 加速。

2. 回答不准确

• 原因：文档分段过粗或检索阈值过低。
• 解决：在知识库设置中调整分段长度，增加相似度阈值（Similarity Threshold）。

3. 数据安全

• 优势：所有数据存储在本地服务器，不经过第三方云端。
• 建议：定期备份 Docker 卷数据，限制网络访问权限。

总结

通过 Ollama 和 MaxKB 的组合，我们成功构建了一个零成本的私有 AI 知识库。该系统不仅解决了销售人员记忆负担重的问题，还能作为智能客服提升客户体验。由于采用开源架构，后续可根据需求扩展多模态支持或微调特定领域模型。对于希望降低 AI 落地门槛的企业，这是一个值得推荐的实践方案。