PostgreSQL 中文全文检索原理与实战：结合 jieba 分词实现高效搜索

在信息爆炸的时代，快速、精准地从海量数据中检索信息至关重要。PostgreSQL 作为功能强大的开源数据库，内置了高效的全文检索引擎。然而，其原生能力对中文支持不佳。本文将深入剖析 PostgreSQL 全文检索的核心原理，讲解 to_tsvector、to_tsquery、ts_rank_cd 等关键函数的用法，并通过一个完整的实战案例，展示如何结合业界流行的 jieba 分词库，在应用程序端完成中文分词，再利用 PostgreSQL 的强大功能实现高性能的中文全文检索。

PostgreSQL 全文检索：不止于 LIKE

你是否还在使用 SELECT * FROM articles WHERE content LIKE '%人工智能%'; 来进行搜索？这种方式虽然简单，但存在明显缺陷：

性能极差：对于大表，LIKE 查询通常无法有效利用索引，导致全表扫描，速度很慢。
功能单一：无法处理同义词、词形变化，也无法对搜索结果进行相关性排序。

PostgreSQL 的全文检索功能正是为解决这些问题而生。它通过一套标准化的流程，将文本转换为一种易于快速查询的特殊格式。

核心原理：从文本到词向量

PostgreSQL 全文检索的工作流程可以简化为以下几个步骤：

解析 (Parsing)：将原始文本（如一篇文章）分解成一个个独立的单词，这个过程称为'分词'（Tokenization）。对于英文，分词很简单，通常以空格或标点符号为界。但对于中文，这是一个复杂的任务，因为词语之间没有天然的分隔符。
处理 (Processing)：对分好的词进行一系列标准化处理，主要包括：
- 词干提取 (Stemming)：将单词转换为其词根形式。例如，'running', 'runs', 'ran'都会被处理成'run'。这样，用户搜索'run'时也能找到包含'running'的文档。
- 停用词过滤 (Stop-word Filtering)：移除那些在文本中频繁出现但几乎没有检索价值的词，如英文的'the', 'a', 'is'，或中文的'的', '是', '了'。
存储 (Storage)：将处理后的词（称为'词位'Lexeme）及其在文档中的位置信息，存储在一个名为 tsvector 的特殊数据类型中。tsvector 是一种有序的、去重的词位列表，是 PostgreSQL 进行高效检索的基础。
查询 (Querying)：当用户输入一个搜索词时，系统会执行类似的处理流程，将其转换为一个查询向量 tsquery。然后，使用高效的索引（如 GIN 或 GiST 索引）在 tsvector 列中快速查找匹配的文档。
排序 (Ranking)：找到匹配的文档后，PostgreSQL 会计算每个文档与查询的相关性得分（Relevance Score），并可以根据得分对结果进行排序，让最相关的文档排在最前面。

关键函数解析

理解了原理后，我们来看看实现这一切的核心函数。

1. to_tsvector([ config, ] document)

这个函数是全文检索的入口，它负责将文本转换为 tsvector。

document：你想要处理的文本字段。
config (可选)：文本搜索配置。它定义了解析器、词典（用于词干提取）和停用词列表。PostgreSQL 自带多种语言的配置，如 english, french。对于中文，我们通常会使用一个简单的配置（如 simple），因为分词工作将在应用端完成。

示例：

-- 使用 'english' 配置
SELECT to_tsvector('english','PostgreSQL is a powerful and open-source relational database.');

结果：

'databas':8 'open-sourc':6 'power':3 'postgresql':1 'relat':7

可以看到，'powerful'被词干提取为'power'，'database'变为'databas'，并且'is', 'a', 'and'等停用词被过滤掉了。

2. to_tsquery([ config, ] querytext)

这个函数将用户的搜索字符串转换为一个 tsquery 对象，用于在 tsvector 中进行匹配。

& (AND)：表示必须同时包含。
| (OR)：表示包含任意一个即可。
! (NOT)：表示不能包含。
<-> (FOLLOWED BY)：表示一个词必须紧跟着另一个词。

querytext：用户输入的搜索词。它支持布尔操作符：

示例：

-- 搜索同时包含 'powerful' 和 'database' 的文档
SELECT to_tsquery('english','powerful & database');

结果：

'power' & 'databas'

to_tsquery 同样会对查询词进行词干提取。

3. @@ 操作符

这是全文检索的匹配操作符，用于判断一个 tsvector 是否匹配一个 tsquery。

示例：

SELECT to_tsvector('english','PostgreSQL is powerful.') @@ to_tsquery('english','powerful');

结果：

返回 t (true) 表示匹配成功。

4. ts_rank_cd(vector, query)

这个函数用于计算匹配的相关性得分。cd 代表'cover density'，这是一种考虑了词位在文档中紧密程度的排名算法，通常比基础的 ts_rank 效果更好。

vector：文档的 tsvector 字段。
query：用户的 tsquery 查询。

示例：

SELECT ts_rank_cd( to_tsvector('english','PostgreSQL is a powerful database.'), to_tsquery('english','powerful & database'));

结果：

0.0607927

返回一个浮点数得分。得分越高，代表文档与查询的相关性越强。

实战：结合 jieba 分词实现中文全文检索

理论讲完，现在我们进入实战环节。我们将创建一个文章表，用 Python 和 jieba 分词，然后存入 PostgreSQL，最后进行搜索。

第 1 步：环境准备

安装 PostgreSQL。

安装 Python 依赖库：

pip install psycopg2-binary jieba

第 2 步：数据库表设计

我们创建一个 articles 表，包含原始内容和用于检索的 tsvector 字段，并为其创建 GIN 索引。

-- 连接到你的数据库后执行
CREATE TABLE articles (
    id SERIAL PRIMARY KEY,
    title VARCHAR(255) NOT NULL,
    content TEXT NOT NULL,
    search_vector tsvector -- 用于存储分词后的词向量
);
-- 创建 GIN 索引，这是高性能检索的关键
CREATE INDEX idx_articles_search_vector ON articles USING GIN(search_vector);

第 3 步：应用端数据插入与分词

下面的 Python 脚本负责连接数据库，使用 jieba 对中文文本进行分词，并将数据插入表中。

import psycopg2
import jieba

# 数据库连接配置
DB_CONFIG = {
    'dbname': 'your_db',
    'user': 'your_user',
    'password': 'your_password',
    'host': 'localhost'
}

def chinese_segment(text):
    """使用 jieba 分词，返回空格分隔的字符串"""
    seg_list = jieba.cut(text, cut_all=False)
    return " ".join(seg_list)

if __name__ == '__main__':
    articles_to_insert = [
        {'title': '人工智能：改变世界的驱动力', 'content': '人工智能（AI）是一门让计算机能够执行通常需要人类智能才能完成的任务的科学与工程学科。从语音助手到自动驾驶，AI 正在深刻地改变着我们的生活和工作方式。'},
        {'title': '机器学习入门：从理论到实践', 'content': '机器学习是人工智能的核心。它涉及算法的设计，这些算法能够让计算机从数据中学习模式并做出预测。'},
        {'title': 'Python 编程的艺术', 'content': 'Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。它以其简洁的语法和强大的生态系统而闻名。'}
    ]
    conn = None
    try:
        conn = psycopg2.connect(**DB_CONFIG)
        with conn.cursor() as cur:
            for art in articles_to_insert:
                # 分词并为标题和内容设置不同权重 (A > B)
                seg_title = chinese_segment(art['title'])
                seg_content = chinese_segment(art['content'])
                tsvector_str = f"{seg_title}A {seg_content}B"
                cur.execute(, (art[], art[], tsvector_str))
            ()
     Exception  e:
        ()
         conn:
            conn.rollback()
    :
         conn:
            conn.close()

代码解释：

chinese_segment 函数使用 jieba 对中文进行分词。
f"{seg_title}A {seg_content}B" 是一个技巧：我们给标题的词加上 A 权重，内容的词加上 B 权重。这样，标题中出现的关键词在排序时会得到更高的分数。
to_tsvector('simple', ...) 使用 simple 配置，因为分词已在外部完成，数据库只需做最基本的处理。

第 4 步：执行全文检索查询

现在，我们可以在数据库中进行搜索了。

场景 1：搜索包含'人工智能'的文章

SELECT id, title, ts_rank_cd(search_vector, query) AS relevance_score 
FROM articles, to_tsquery('simple','人工智能') AS query 
WHERE search_vector @@ query 
ORDER BY relevance_score DESC;

结果：标题包含'人工智能'的文章会排在前面，且得分更高。

场景 2：搜索包含'机器学习'但不包含'Python'的文章

SELECT id, title, ts_rank_cd(search_vector, query) AS relevance_score 
FROM articles, to_tsquery('simple','机器学习 & !Python') AS query 
WHERE search_vector @@ query 
ORDER BY relevance_score DESC;

结果：只会返回第二篇关于机器学习的文章。

总结

通过本文的学习，我们掌握了 PostgreSQL 全文检索的核心原理和实现方法。

核心价值：PostgreSQL 全文检索通过 tsvector 和 tsquery 的转换，实现了远超 LIKE 的查询性能和功能。
中文解决方案：对于中文，最佳实践之一是采用'应用端分词 + 数据库端检索'的模式。利用 jieba 等专业分词库在应用层处理中文文本，然后将结果存入 PostgreSQL 的 tsvector 字段，并创建 GIN 索引。
优势：这种方案不仅性能出色，还能让你灵活控制分词逻辑，并充分利用 PostgreSQL 的相关性排序、布尔查询等高级功能，为你的应用构建一个强大、高效的中文搜索引擎。

PostgreSQL 中文全文检索原理与实战：结合 jieba 分词实现高效搜索

PostgreSQL 全文检索：不止于 LIKE

核心原理：从文本到词向量

关键函数解析

1. to_tsvector([ config, ] document)

2. to_tsquery([ config, ] querytext)

3. @@ 操作符

4. ts_rank_cd(vector, query)

实战：结合 jieba 分词实现中文全文检索

第 1 步：环境准备

第 2 步：数据库表设计

第 3 步：应用端数据插入与分词

第 4 步：执行全文检索查询

总结

更多推荐文章

相关免费在线工具

PostgreSQL 中文全文检索原理与实战：结合 jieba 分词实现高效搜索

PostgreSQL 全文检索：不止于 LIKE

核心原理：从文本到词向量

关键函数解析

1. to_tsvector([ config, ] document)

2. to_tsquery([ config, ] querytext)

3. @@ 操作符

4. ts_rank_cd(vector, query)

实战：结合 jieba 分词实现中文全文检索

第 1 步：环境准备

第 2 步：数据库表设计

第 3 步：应用端数据插入与分词

第 4 步：执行全文检索查询

总结

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具