基于 Ollama-OCR 与 Llama 3.2-Vision 的文字识别方案

安装 Ollama 后，需拉取对应的视觉模型。推荐使用 11B 版本以平衡性能与资源消耗。

ollama run llama3.2-vision

首次运行时会自动下载模型权重，请确保网络通畅且磁盘空间充足（建议预留 10GB 以上空间）。

3. 安装 Ollama-OCR 库

本项目基于 Node.js 开发，需先安装 Node.js 环境。

npm install ollama-ocr
# 或使用 pnpm
pnpm add ollama-ocr

四、代码实战

1. 基础 OCR 识别

以下示例展示了如何调用 API 识别图片中的纯文本内容。

import { ollamaOCR, DEFAULT_OCR_SYSTEM_PROMPT } from "ollama-ocr";

async function runOCR() {
  try {
    const text = await ollamaOCR({
      filePath: "./handwriting.jpg",
      systemPrompt: DEFAULT_OCR_SYSTEM_PROMPT,
    });
    console.log("识别结果:", text);
  } catch (error) {
    console.error("OCR 失败:", error.message);
  }
}

runOCR();

输入图片：

输出结果： The Llama 3.2-Vision collection of multimodal large language models (LLMs) is a collection of instruction-tuned image reasoning generative models in 118 and 908 sizes (text + images in / text out). The Llama 3.2-Vision instruction-tuned models are optimized for visual recognition, image reasoning, captioning, and answering general questions about an image. The models outperform many of the available open source and closed multimodal models on common industry benchmarks.

2. 输出 Markdown 格式

若需要保留表格、列表等结构，可使用 Markdown 系统提示。

import { ollamaOCR, DEFAULT_MARKDOWN_SYSTEM_PROMPT } from "ollama-ocr";

async function runMarkdownOCR() {
  const text = await ollamaOCR({
    filePath: "./trader-joes-receipt.jpg",
    systemPrompt: DEFAULT_MARKDOWN_SYSTEM_PROMPT,
  });
  console.log(text);
}

输入图片：

输出结果：

3. 在线模型替代方案

ollama-ocr 主要依赖本地视觉模型。如果您希望使用云端部署的 Llama 3.2-Vision 模型，可以尝试 llama-ocr 库。

五、高级配置与优化

1. 自定义 System Prompt

为了获得更精准的识别效果，可以修改 systemPrompt 参数。例如，指定只提取数字、日期或特定字段。

const customPrompt = "You are an expert OCR assistant. Extract only dates and amounts from the image.";
// 传入自定义 prompt

2. 性能调优

• 显存管理：Llama 3.2-Vision 11B 版本通常需要至少 8GB 显存。如果显存不足，可尝试量化版本（如 Q4_K_M）。
• 并发控制：在批量处理图片时，建议设置队列限制，避免 OOM（内存溢出）错误。
• 超时设置：长图或复杂图表识别耗时较长，建议在调用层增加超时重试机制。

六、常见问题排查

1. 模型加载失败：检查网络连接，确认 ollama 服务已启动 (ollama serve)。
2. 识别乱码：尝试更换 systemPrompt，明确指定语言为中文或英文。
3. 响应缓慢：降低并发数，或升级 GPU 硬件。本地推理速度受限于硬件算力。

七、总结

利用 Ollama 结合 Llama 3.2-Vision 构建 OCR 解决方案，实现了数据隐私保护与高识别率的平衡。通过简单的几行代码，即可集成强大的视觉理解能力到现有业务系统中。随着多模态模型的持续迭代，此类本地化 AI 应用将在文档数字化、知识管理等场景发挥更大价值。