QAnything 本地知识库问答系统：支持海量数据与跨语种 RAG 应用

QAnything 本地知识库问答系统：基于检索增强生成式应用（RAG）

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式：PDF，Word(doc/docx)，PPT，Markdown，Eml，TXT，图片（jpg，png 等），网页链接，更多格式，敬请期待…

特点

数据安全，支持全程拔网线安装使用。
支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。
高性能生产级系统，可直接部署企业应用。
易用性，无需繁琐的配置，一键安装部署，拿来就用。
支持选择多知识库问答。

架构

QAnything System Architecture

1. 两阶段检索优势

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段 embedding 检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段 rerank 重排后能实现准确率稳定增长，即数据越多，效果越好。

Two Stage Retrieval Performance

BCEmbedding 是由网易有道开发的中英双语和跨语种语义表征算法模型库，其中包含 EmbeddingModel 和 RerankerModel 两类基础模型。EmbeddingModel 专门用于生成语义向量，在语义搜索和问答中起着关键作用，而 RerankerModel 擅长优化语义搜索结果和语义相关顺序精排。

BCEmbedding 作为有道的检索增强生成式应用（RAG）的基石，特别是在 QAnything 中发挥着重要作用。QAnything 作为一个开源项目，在有道许多产品中有很好的应用实践，比如有道速读和有道翻译。

QAnything 使用的检索组件有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，从而实现强大的双语和跨语种语义表征能力。

基于 LlamaIndex 的 RAG 评测，表现 SOTA。

双语和跨语种优势

现有的单个语义表征模型在双语和跨语种场景中常常表现不佳，特别是在中文、英文及其跨语种任务中。BCEmbedding 充分利用有道翻译引擎的优势，实现只需一个模型就可以在单语、双语和跨语种场景中表现出卓越的性能。

EmbeddingModel 支持中文和英文（之后会支持更多语种）；RerankerModel 支持中文，英文，日文和韩文。

1.1 一阶段检索（embedding）

模型名称	Retrieval	STS	PairClassification	Classification	Reranking	Clustering	平均
bge-base-en-v1.5	37.14	55.06	75.45	59.73	43.05	37.74	47.20
bge-base-zh-v1.5	47.60	63.72	77.40	63.38	54.85	32.56	53.60
bge-large-en-v1.5	37.15	54.09	75.00	59.24	42.68	37.32	46.82
bge-large-zh-v1.5	47.54	64.73	79.14	64.19	55.88	33.26	54.21
jina-embeddings-v2-base-en	31.58	54.28	74.84	58.42	41.16	34.67	44.29
m3e-base	46.29	63.93	71.84	64.08	52.38	37.84	53.54
m3e-large	34.85	59.74	67.69	60.07	48.99	31.62	46.78
bce-embedding-base_v1	57.60	65.73	74.96	69.00	57.29	38.95

1.2 二阶段检索（rerank）

模型名称	Reranking	平均
bge-reranker-base	57.78	57.78
bge-reranker-large	59.69	59.69
bce-reranker-base_v1	60.06	60.06

评测结果详情

Language: en

Task Type: Reranking

Model	AskUbuntuDupQuestions	MindSmallReranking	SciDocsRR	StackOverflowDupQuestions	AVG
bge-reranker-base	54.70	28.48	67.09	37.55	46.96
bge-reranker-large	58.73	28.84	71.30	39.04	49.48
bce-reranker-base_v1	56.54	30.73	75.79	42.88	51.48

Summary on en

Model	Reranking	AVG
bge-reranker-base	46.96	46.96
bge-reranker-large	49.48	49.48
bce-reranker-base_v1	51.48	51.48

Language: zh

Task Type: Reranking

Model	T2Reranking	MMarcoReranking	CMedQAv1	CMedQAv2	AVG
bge-reranker-base	67.28	35.46	81.27	84.10	67.03
bge-reranker-large	67.60	37.64	82.14	84.18	67.89
bce-reranker-base_v1	70.25	34.13	79.64	81.31	66.33

Summary on zh

Model	Reranking	AVG
bge-reranker-base	67.03	67.03
bge-reranker-large	67.89	67.89
bce-reranker-base_v1	66.33	66.33

Language: en-zh

Task Type: Reranking

Model	T2RerankingEn2Zh	MMarcoRerankingEn2Zh	AVG
bge-reranker-base	60.45	64.41	62.43
bge-reranker-large	61.64	67.17	64.41
bce-reranker-base_v1	63.63	67.92	65.78

Summary on en-zh

Model	Reranking	AVG
bge-reranker-base	62.43	62.43
bge-reranker-large	64.41	64.41
bce-reranker-base_v1	65.78	65.78

Language: zh-en

Task Type: Reranking

Model	T2RerankingZh2En	MMarcoRerankingZh2En	AVG
bge-reranker-base	63.94	63.79	63.87
bge-reranker-large	64.13	67.89	66.01
bce-reranker-base_v1	65.38	67.23	66.31

Summary on zh-en

Model	Reranking	AVG
bge-reranker-base	63.87	63.87
bge-reranker-large	66.01	66.01
bce-reranker-base_v1	66.31	66.31

Summary on all langs: ['en', 'zh', 'en-zh', 'zh-en']

Model	Reranking (12)	AVG (12)
bge-reranker-base	59.04	59.04
bge-reranker-large	60.86	60.86
bce-reranker-base_v1	61.29	61.29

1.3 基于 LlamaIndex 的 RAG 评测（embedding and rerank）

LlamaIndex RAG Evaluation

NOTE:

在 WithoutReranker 列中，我们的 bce-embedding-base_v1 模型优于所有其他 embedding 模型。
在固定 embedding 模型的情况下，我们的 bce-reranker-base_v1 模型达到了最佳表现。
bce-embedding-base_v1 和 bce-reranker-base_v1 的组合是 SOTA。

2. LLM

开源版本 QAnything 的大模型基于通义千问，并在大量专业问答数据集上进行微调；在千问的基础上大大加强了问答的能力。如果需要商用请遵循千问的 license。

2.1 快速开始

必要条件

For Linux

System	Required item	Minimum Requirement	Note
Linux	Single NVIDIA GPU Memory	>= 16GB	NVIDIA 3090 x 1 recommended
Linux	Double NVIDIA GPU Memory	>= 11GB + 5G	NVIDIA 2080TI × 2 recommended
Linux	NVIDIA Driver Version	>= 525.105.17
Linux	CUDA Version	>= 12.0
Linux	Docker version	>= 20.10.5
Linux	docker compose version	>= 2.23.3

For Windows 11 with WSL 2

System	Required item	Minimum Requirement	Note
Windows 11 with WSL 2	Single NVIDIA GPU Memory	>= 16GB	NVIDIA 3090
Windows 11 with WSL 2	Double NVIDIA GPU Memory	>= 11GB + 5G	NVIDIA 2080TI × 2
Windows 11 with WSL 2	GEFORCE EXPERIENCE	>= 546.33
Windows 11 with WSL 2	Docker Desktop	>= 4.26.1（131620）

下载安装

Step 1: 下载本项目

git clone https://github.com/netease-youdao/QAnything.git

Step 2: 进入项目根目录执行启动脚本。如果在 Windows 系统下请先进入 wsl 环境

cd QAnything
bash run.sh  # 默认在 0 号 GPU 上启动

指定单 GPU 启动

cd QAnything
bash run.sh 0  # 指定 0 号 GPU 启动 GPU 编号从 0 开始 windows 机器一般只有一张卡，所以只能指定 0 号 GPU

指定多 GPU 启动

cd QAnything
bash run.sh 0,1  # 指定 0,1 号 GPU 启动，请确认有多张 GPU 可用，最多支持两张卡启动

开始体验

前端页面运行成功后，即可在浏览器输入以下地址进行体验。

前端地址：http://your_host:5052/qanything/

API 如果想要访问 API 接口，请参考下面的地址:

API address: http://your_host:8777/api/

关闭服务

bash close.sh

3. Demo 展示

信息抽取

Information Extraction Demo

网页问答

Web QA Demo

文件大杂烩

File Mix Demo

File Mix Demo 2

4. 常见问题

在 windows 上执行 docker-compose 命令启动时报错：/bin/bash^M: bad interpreter: No such file or directory
- 原因：在 windows 下创建编辑的 shell 脚本是 dos 格式的，而 linux 却是只能执行格式为 unix 格式的脚本，所以在 windows 上编辑过的文件在 linux 上 (windows 下执行 wsl 后的环境通常也是 linux) 执行时会报错。
- 解决方案：将回车符替换为空字符串

# 通过命令查看脚本文件是 dos 格式还是 unix 格式，dos 格式的文件行尾为^M$ ，unix 格式的文件行尾为$：
cat -A scripts/run_for_local.sh  # 验证文件格式
sed -i "s/\r//" scripts/run_for_local.sh
sed -i "s/^M//" scripts/run_for_local.sh
cat -A scripts/run_for_local.sh  # 验证文件格式

在前端页面输入问题后，返回结果报错：Triton Inference Error (error_code: 4)
- 原因：显存不够了，目前在问答过程中大模型和 paddleocr 占用的显存会逐渐上升且不释放，可能造成显存不够。
- 解决方案：重启服务，优化显存的工作已在计划中
- 原因 2：如果发现显存够用，那是因为新版模型与部分显卡型号不兼容。
- 解决方案：请更换为兼容模型和镜像，手动下载模型文件解压并替换 models 目录，然后重启服务即可。
  - 将 docker-compose-xxx.yaml 中的 freeren/qanyxxx:v1.0.9 改为 freeren/qanyxxx:v1.0.8
  - git clone
  - cd qanything
  - git reset --hard 79b3da3bbb35406f0b2da3acfcdb4c96c2837faf
  - unzip models.zip
  - 替换掉现有的 models 目录
  - echo 'v2.1.0' > models/version.txt # 手动避过版本检查
在前端页面输入问题后，返回结果是类似后面的乱码：omiteatures 贶.scrollHeight㎜eaturesodo Curse.streaming pulumi 窟 IDI 贶沤贶.scrollHeight 贶贶贶eatures 谜.scrollHeight 她是
- 原因：显卡型号不支持，例如 V100，请使用 3080，3090，4080，4090 等显卡，显存需要大于 16G
服务启动报错，在 api.log 中显示：mysql.connector.errors.DatabaseError: 2003 (HY000): Can't connect to MySQL server on 'mysql-container-local:3306' (111)
- 原因：将之前的 QAnything 代码拉取下来后，复制了一份代码到其他的地址，其中有一个 volumes 是 milvus 和 mysql 默认的本地数据卷，复制后可能导致了 mysql 的数据卷冲突，导致 mysql 无法启动。
- 解决方案：删除冲突的数据卷 volumes，重新启动服务
服务启动报错：ERROR: for qanything-container-local Cannot start service qanything_local: could not select device driver 'nvidia' with capabilities: [[gpu]]
- 原因：查看 nvidia 显卡驱动版本是否满足要求，windows 下建议直接更新到最新版；另外检查下是否安装了 NVIDIA Container Toolkit, windows 下需要进入 wsl2 环境，再参考 linux 下安装方法：
服务启动报错：nvidia-container-cli: mount error: file creation failed: /var/lib/docker/overlay2/xxxxxx/libnvidia-ml.s0.1: file exists: unknown
- 原因：在 windows 系统上使用 docker-compose-linux.yaml 启动
- 解决方案：使用 docker-compose-windows.yaml 启动

Windows Docker Compose Config

QAnything 本地知识库问答系统：支持海量数据与跨语种 RAG 应用

QAnything 本地知识库问答系统：基于检索增强生成式应用（RAG）

特点

架构

1. 两阶段检索优势

双语和跨语种优势

1.1 一阶段检索（embedding）

1.2 二阶段检索（rerank）

评测结果详情

1.3 基于 LlamaIndex 的 RAG 评测（embedding and rerank）

2. LLM

2.1 快速开始

必要条件

下载安装

开始体验

3. Demo 展示

信息抽取

网页问答

文件大杂烩

4. 常见问题

更多推荐文章

相关免费在线工具

QAnything 本地知识库问答系统：支持海量数据与跨语种 RAG 应用

QAnything 本地知识库问答系统：基于检索增强生成式应用（RAG）

特点

架构

1. 两阶段检索优势

双语和跨语种优势

1.1 一阶段检索（embedding）

1.2 二阶段检索（rerank）

评测结果详情

1.3 基于 LlamaIndex 的 RAG 评测（embedding and rerank）

2. LLM

2.1 快速开始

必要条件

下载安装

开始体验

3. Demo 展示

信息抽取

网页问答

文件大杂烩

4. 常见问题

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具