使用本地大模型从发票文本中提取结构化信息

import re

result = response['message']['content']
# 分割出包含大括号的部分
result = [r for r in re.split('```|DICT_DATA = ', result) if '{' in r][0]

print(type(eval(result)))
print(eval(result))

这样就能得到一个干净的字典对象了。

4. 封装函数

为了方便复用，我们把上面的逻辑封装成一个函数。

def extract_info(text):
    response = ollama.chat(model='llama3:8b', stream=False, messages=[
        {
            'role': 'user',
            'content': f'提取 TEXT 中的关键信息，返回 DICT_DATA，DICT_DATA 为 dict 数据格式，所含关键词依次为"开票日期", "应税货物 (或服务) 名称", "价税合计 (大写)", "税率", "备注"; 结果只显示 DICT_DATA。TEXT: {text}',
        },
    ])
    
    result = response['message']['content']
    # 清洗逻辑
    result = [r for r in re.split('```|DICT_DATA = ', result) if '{' in r][0]
    return eval(result)

5. 批量处理

假设 data 文件夹里有几十上百张发票，我们可以遍历它们并导出为 CSV。

import os
import pandas as pd
import cntext as ct

# 获取所有 PDF 文件路径
pdf_files = [f'data/{file}' for file in os.listdir('data') if '.pdf' in file]

dict_datas = []
for pdf_file in pdf_files:
    pdf_text = ct.read_pdf(pdf_file)
    dict_data = extract_info(pdf_text)
    dict_datas.append(dict_data)

df = pd.DataFrame(dict_datas)
print(df)

跑完这个脚本，所有的发票信息就整理好了。

经验与讨论

这次实验只验证了一张发票，实际场景下准确率可能会波动。识别错误通常集中在销售方纳税识别号等细节上，主要是因为 OCR 读入的文本比较杂乱，增加了大模型的语义理解难度。

目前大模型已经支持图文混合输入，未来可以直接上传发票图片，效果会更好。另外，大模型是基于概率生成回答的，存在一定误差风险。为了降低这种风险，可以优先提取特征明显的字段，比如'价税合计 (大写)'，因为中文大写数字在文本中非常醒目，模型对这类信息的权重分配通常会更高，准确率也相对更稳。