Lychee-Rerank 国产化环境部署指南
项目背景
Lychee-Rerank 是一个专注于检索相关性评分的本地化工具，底层基于成熟的推理逻辑和 Qwen2.5-1.5B 模型构建。它的核心价值在于评估查询语句与文档内容之间的匹配程度，为文档检索和排序提供量化依据。
在实际业务中，从海量文档里精准定位相关内容往往比关键词匹配更依赖语义理解。传统的搜索方式容易遗漏关键信息，而深度学习模型能更好地捕捉语义关联。Lychee-Rerank 支持完全离线运行，这对数据隐私和安全要求较高的场景非常友好。本方案特别针对国产化信创环境进行了适配，涵盖统信 UOS 操作系统和申威 SW64 架构 CPU，适合企业知识库、文档管理系统或学术研究中的文献筛选场景。
环境准备
系统要求
部署前请确认硬件满足以下最低配置：
- 操作系统：统信 UOS 20 及以上版本
- CPU 架构：申威处理器（SW64）
- 内存：8GB RAM 起步（推荐 16GB 以上）
- 存储：至少 10GB 可用空间
- Python：3.8 或更高版本
安装基础依赖
先更新系统包管理器并准备好开发工具链：
sudo apt update
sudo apt install -y python3-pip python3-venv git make g++
接着创建并激活 Python 虚拟环境，避免污染全局环境：
python3 -m venv lychee-env
source lychee-env/bin/activate
安装 Python 依赖
安装核心依赖包时请注意，由于申威架构的特殊性，部分包可能需要源码编译。如果遇到兼容性问题，可以尝试强制源码安装：
pip install --upgrade pip
pip install torch==1.13.1+cu117 -f https://download.pytorch.org/whl/torch_stable.html
pip install streamlit==1.28.0 transformers==4.36.0 sentencepiece==0.1.99
pip install tqdm numpy pandas
若遇到特定包无法预编译的情况，可使用 pip install --no-binary :all: package-name 尝试解决。
部署与配置
获取项目代码
克隆适配后的项目仓库并进入目录：
git clone https://github.com/your-org/lychee-rerank-sw.git
cd lychee-rerank-sw
准备模型文件
官方权重可能受限，这里使用 Qwen2.5-1.5B 作为替代方案。请先创建模型目录并下载相关文件（需替换实际链接）：
mkdir -p models/qwen2.5-1.5b
wget -O models/qwen2.5-1.5b/pytorch_model.bin https://your-model-host/qwen2.5-1.5b.bin
wget -O models/qwen2.5-1.5b/config.json https://your-model-host/config.json
wget -O models/qwen2.5-1.5b/tokenizer.json https://your-model-host/tokenizer.json
配置文件
在项目根目录新建 config.yaml，定义模型路径及服务参数：
model:
