Ollama-OCR 基于 Llama 3.2-Vision 的本地高精度文字识别方案

import { ollamaOCR, DEFAULT_OCR_SYSTEM_PROMPT } from "ollama-ocr";

async function runBasicOCR() {
  try {
    const text = await ollamaOCR({
      filePath: "./handwriting.jpg",
      systemPrompt: DEFAULT_OCR_SYSTEM_PROMPT,
    });
    console.log("识别结果:", text);
  } catch (error) {
    console.error("OCR 失败:", error.message);
  }
}

runBasicOCR();

示例输入：一张包含英文段落的图片。

预期输出：

The Llama 3.2-Vision collection of multimodal large language models (LLMs) is a collection of instruction-tuned image reasoning generative models in 11B and 90B sizes (text + images in / text out). The Llama 3.2-Vision instruction-tuned models are optimized for visual recognition, image reasoning, captioning, and answering general questions about an image. The models outperform many of the available open source and closed multimodal models on common industry benchmarks.

输出 Markdown 格式

如果需要保留文档结构，可以使用 DEFAULT_MARKDOWN_SYSTEM_PROMPT。

import { ollamaOCR, DEFAULT_MARKDOWN_SYSTEM_PROMPT } from "ollama-ocr";

async function runMarkdownOCR() {
  const text = await ollamaOCR({
    filePath: "./trader-joes-receipt.jpg",
    systemPrompt: DEFAULT_MARKDOWN_SYSTEM_PROMPT,
  });
  console.log(text);
}

此模式下，模型会尝试将识别出的内容转换为 Markdown 语法，如加粗、列表、表格等，非常适合用于文档数字化归档。

自定义提示词优化

针对特定场景，可以编写自定义 System Prompt 来提升效果。例如，要求模型忽略水印或只提取数字。

const customPrompt = `
你是一名专业的数据录入员。请仔细查看提供的图片，仅提取其中的关键数值和日期。
不要输出任何多余的说明文字，直接返回 JSON 格式的数据。
`;

const result = await ollamaOCR({
  filePath: "./invoice.png",
  systemPrompt: customPrompt,
});
console.log(result);

服务端集成示例

在实际业务中，通常需要将 OCR 功能封装为 API 接口。以下是一个基于 Express 的简单示例：

import express from 'express';
import multer from 'multer';
import { ollamaOCR } from 'ollama-ocr';

const app = express();
const upload = multer({ dest: 'uploads/' });

app.post('/api/ocr', upload.single('image'), async (req, res) => {
  if (!req.file) {
    return res.status(400).json({ error: '未上传文件' });
  }

  try {
    const text = await ollamaOCR({
      filePath: req.file.path,
      systemPrompt: 'Extract text from the image.',
    });
    res.json({ success: true, content: text });
  } catch (err) {
    res.status(500).json({ error: err.message });
  }
});

app.listen(3000, () => console.log('Server running on port 3000'));

性能优化与注意事项

1. 显存管理

Llama 3.2-Vision 11B 模型需要一定的显存资源。如果显存不足，可以考虑使用量化版本或降低并发请求数。

2. 超时设置

OCR 任务可能耗时较长，建议在客户端和服务端都设置合理的超时时间，避免请求挂起。

3. 批量处理

对于大量图片的处理，建议实现队列机制，避免一次性加载过多图片导致内存溢出。

4. 与传统 OCR 对比

常见问题排查

• 模型加载失败：检查网络连接，确保能拉取到模型权重；确认磁盘空间是否足够。
• 识别结果为空：检查图片质量，过暗或过模糊的图片可能导致识别失败；尝试调整分辨率。
• Node.js 版本问题：确保使用的 Node.js 版本支持最新的 ES Module 语法，建议使用 v18+。

总结

Ollama-OCR 结合 Llama 3.2-Vision 的强大能力，提供了一种灵活的本地化文字识别解决方案。它不仅解决了传统 OCR 在复杂场景下的精度瓶颈，还通过本地部署保障了数据隐私。对于需要处理敏感文档、手写资料或复杂排版的开发者来说，这是一个值得尝试的技术选型。随着多模态模型的不断进化，未来的 OCR 工具将更加智能化，能够处理更复杂的视觉逻辑任务。