Lychee-Rerank 部署教程：国产化信创环境（统信 UOS+ 申威 CPU）适配方案

3.3 环境配置

创建配置文件 config.yaml：

model:
  path: "./models/qwen2.5-1.5b"
  name: "qwen2.5-1.5b"
  max_length: 2048
server:
  host: "0.0.0.0"
  port: 8501
debug: false
ui:
  title: "Lychee-Rerank 相关性评分工具"
  default_instruction: "基于查询检索相关文档"
  score_threshold_high: 0.8
  score_threshold_medium: 0.4

4. 运行与使用指南

4.1 启动服务

在项目根目录下运行以下命令启动服务：

streamlit run app.py --server.port=8501 --server.address=0.0.0.0

启动成功后，终端将显示访问地址，通常为：http://localhost:8501

4.2 界面操作说明

打开浏览器访问显示的服务地址，您将看到以下界面元素：

输入区域（左侧）：

• 指令输入框：自定义评分规则，默认为'基于查询检索相关文档'
• 查询输入框：输入您要匹配的查询语句
• 候选文档框：每行输入一个候选文档，支持批量输入

操作按钮：

• '🚀 计算相关性分数'：点击开始计算所有文档的相关性分数
• '🗑️ 清空结果'：清除当前结果显示

结果显示区域（右侧）：

• 排名列表：按分数从高到低显示文档排名
• 分数显示：精确到 6 位小数，并用颜色标识相关性程度
• 进度条：直观展示分数相对比例
• 文档内容：以代码块形式完整显示文档内容

4.3 使用示例

让我们通过一个实际例子来演示如何使用这个工具：

1. 在'指令'框中输入：'找出与人工智能相关的文档'
2. 在'查询'框中输入：'什么是机器学习'
3. 在'候选文档'框中输入以下内容：

机器学习是人工智能的一个分支，专注于让计算机通过数据学习并改进。
深度学习是机器学习的一个子领域，使用多层神经网络处理复杂模式识别。
Python 是一种流行的编程语言，广泛用于数据科学和机器学习项目。
神经网络受人脑结构启发，是深度学习的基础架构。
云计算提供可扩展的计算资源，支持大规模机器学习训练。

4. 点击'🚀 计算相关性分数'按钮
5. 查看右侧结果区域，观察哪些文档与查询最相关

5. 常见问题与解决方案

5.1 部署常见问题

问题 1：内存不足错误

解决方案：减少同时处理的文档数量，或增加系统交换空间

问题 2：模型加载失败

解决方案：检查模型文件完整性，确保所有必需文件都已下载

问题 3：端口被占用

解决方案：更改服务端口号：streamlit run app.py --server.port=8502

5.2 使用常见问题

问题 1：评分结果不准确

可能原因：查询语句或文档内容过于简短或模糊 解决方案：提供更详细、具体的查询和文档内容

问题 2：处理速度慢

解决方案：减少单次处理的文档数量，或升级硬件配置

问题 3：界面显示异常

解决方案：清除浏览器缓存，或尝试使用 Chrome/Firefox 浏览器

5.3 性能优化建议

对于大量文档处理场景，建议：

1. 分批处理：将大量文档分成小批量处理，每批不超过 50 个文档
2. 硬件升级：增加系统内存，使用更快的存储设备
3. 模型优化：考虑使用量化模型减少内存占用
4. 缓存机制：对重复查询结果实施缓存，提高响应速度

6. 总结

通过本教程，您已经成功在统信 UOS 和申威 CPU 环境中部署了 Lychee-Rerank 相关性评分工具。这个工具为您提供了强大的本地化文档检索和排序能力，完全无需依赖外部网络服务，确保了数据的安全性和隐私保护。

该工具的核心优势包括：

• 完全离线运行：所有数据处理都在本地完成，无数据泄露风险
• 精准的相关性评估：基于先进的深度学习模型，提供准确的相关性评分
• 友好的用户界面：直观的可视化界面，操作简单易懂
• 国产化适配：专门针对统信 UOS 和申威 CPU 优化，兼容性良好
• 灵活的可定制性：支持自定义指令和评分规则，适应不同场景需求

无论您是构建企业知识管理系统、学术文献检索工具，还是需要处理大量文档的相似性匹配任务，Lychee-Rerank 都能提供可靠的技术支持。随着使用的深入，您还可以根据具体需求进一步定制和优化模型参数，获得更好的使用体验。