Python 从零构建知识图谱实战指南

输出中，won 的标签是 ROOT（根节点），即句子的核心动词。因此，提取出的关系就是 "won"。结合前面的实体，我们得到了三元组：(Nagal, won, first set)。

Python 实战构建

接下来，我们将基于维基百科电影相关的文本数据，从头构建一个知识图谱。这里使用了约 4300 个包含主谓宾结构的句子。

导入相关库

我们需要处理文本、构建网络以及可视化结果。

import re
import pandas as pd
import bs4
import requests
import spacy
from spacy import displacy
from spacy.matcher import Matcher
from spacy.tokens import Span
import networkx as nx
import matplotlib.pyplot as plt
from tqdm import tqdm

pd.set_option('display.max_colwidth', 200)
%matplotlib inline

nlp = spacy.load('en_core_web_sm')

读取文本数据

加载预处理好的 CSV 文件，查看数据结构。

candidate_sentences = pd.read_csv("wiki_sentences_v2.csv")
print(candidate_sentences.shape)
# 输出：(4318, 1)

采样查看几条句子，确认内容格式。

抽取'主语 - 宾语'对

这是构建图谱的核心步骤。我们需要遍历句子，找到主语和宾语。由于实体可能由多个单词组成（如 "red wine"），依赖解析器有时只标记单个词为主语或宾语。因此，我们需要编写辅助函数来处理修饰语和复合词。

def get_entities(sent):
    # 初始化变量用于追踪前一个词的依赖标签和文本
    prv_tok_dep = 'root'
    prv_tok_text = ''
    prefix = ''
    modifier = ''
    ent1 = ''
    ent2 = ''
    
    for tok in nlp(sent):
        # 忽略标点符号
        if tok.dep_ != "punct":
            # 处理复合词，例如 "Football Stadium"
            if tok.dep_ == "compound":
                prefix = tok.text
                if prv_tok_dep == "compound":
                    prefix = prv_tok_text + " " + tok.text
            
            # 处理修饰语，例如 "nice shirt"
            if tok.dep_.endswith("mod") == True:
                modifier = tok.text
                if prv_tok_dep == "compound":
                    modifier = prv_tok_text + " " + tok.text
            
            # 捕获主语
            if tok.dep_.find("subj") == True:
                ent1 = modifier + " " + prefix + " " + tok.text
                # 重置变量
                prefix = ''
                modifier = ''
                prv_tok_dep = tok.dep_
                prv_tok_text = tok.text
            
            # 捕获宾语
            if tok.dep_.find("obj") == True:
                ent2 = modifier + " " + prefix + " " + tok.text
                # 重置变量
                prefix = ''
                modifier = ''
                prv_tok_dep = tok.dep_
                prv_tok_text = tok.text
    
    return [ent1.strip(), ent2.strip()]

测试一下这个函数：

get_entities("the film had 200 patents")
# Output: ['film', '200 patents']

效果符合预期。现在批量处理数据集中的所有句子：

entity_pairs = []
for i in tqdm(candidate_sentences["sentence"]):
    entity_pairs.append(get_entities(i))

注意：提取结果中可能包含代词（如 it, she）。在高级应用中可以进行指代消解，但为了保持教程简洁，我们先保留原样，后续再优化。

关系抽取

我们的假设是：谓语通常是句子中的主要动词。利用 spaCy 的规则匹配器，我们可以定位到 ROOT 节点及其相关的介词或代理词。

def get_relation(sent):
    doc = nlp(sent)
    matcher = Matcher(nlp.vocab)
    # 定义模式：寻找 ROOT，可选的 prep，可选的 agent，可选的 ADJ
    pattern = [{'DEP':'ROOT'}, {'DEP':'prep','OP':"?"}, {'DEP':'agent','OP':"?"}, {'POS':'ADJ','OP':"?"}]
    matcher.add("matching_1", None, pattern)
    matches = matcher(doc)
    k = len(matches) - 1
    span = doc[matches[k][1]:matches[k][2]]
    return span.text

测试：

get_relation("John completed the task")
# Output: completed

应用到数据集上，统计最常见的关系：

relations = [get_relation(i) for i in tqdm(candidate_sentences['sentence'])]
pd.Series(relations).value_counts()[:50]

结果显示 "is" 类关系最常见，但针对电影主题，像 "composed by"（由...作曲）、"released in"（发行于）等更有价值。

构建知识图谱

最后一步，将提取的实体对和谓词组合成 DataFrame，并使用 NetworkX 创建有向图。

# 提取源和目标
source = [i[0] for i in entity_pairs]
target = [i[1] for i in entity_pairs]
kg_df = pd.DataFrame({'source': source, 'target': target, 'edge': relations})

# 创建有向图
G = nx.from_pandas_edgelist(kg_df, "source", "target", edge_attr=True, create_using=nx.MultiDiGraph())

# 可视化
plt.figure(figsize=(12, 12))
pos = nx.spring_layout(G)
nx.draw(G, with_labels=True, node_color='skyblue', edge_cmap=plt.cm.Blues, pos=pos)
plt.show()

生成的图谱节点众多，关系复杂。我们可以过滤特定关系来观察局部结构。例如，只看 "composed by" 关系：

G = nx.from_pandas_edgelist(
    kg_df[kg_df['edge'] == "composed by"], 
    "source", "target", 
    edge_attr=True, 
    create_using=nx.MultiDiGraph()
)
plt.figure(figsize=(12, 12))
pos = nx.spring_layout(G, k=0.5)
nx.draw(G, with_labels=True, node_color='skyblue', node_size=1500, edge_cmap=plt.cm.Blues, pos=pos)
plt.show()

箭头指向作曲家。可以看到 A.R. Rahman 这样的著名作曲家，以及他关联的原声配乐等实体。再看 "written by" 关系，图表清晰地展示了 Javed Akhtar 等著名作词家与作品的联系。

对于 "released in" 关系，我们能发现诸如 "几部动作恐怖电影发行于 1980 年代" 或 "PK 发行在 4844 块荧幕上" 等有趣的事实。这证明了从非结构化文本中挖掘知识的巨大潜力。

总结

通过本文，我们学习了如何从给定文本中提取三元组信息，并利用 Python 构建基础的知识图谱。尽管我们限制了只处理包含两个实体的句子，但依然构建了具有实用价值的图谱。想象一下，如果应用于海量非结构化文本，知识图谱能释放出多大的能量！

在实际工程中，还可以结合 Neo4j 等图数据库进行存储和查询，构建更复杂的问答系统。