探讨了利用 AI 大模型进行图像 OCR 识别的技术方案。首先介绍了 OCR 技术背景及 LLM 在文本理解、格式修复和多模态融合方面的优势，同时分析了高计算成本、数据隐私等缺点。通过图形验证码识别案例，对比了文心一言、通义千问等主流模型的表现，并提供了基于阿里云 DashScope API 的 Python 代码实现。文章还讨论了开源模型（Qwen2-VL）的本地部署可行性、云端与本地部署的成本对比及安全最佳实践，为开发者选择技术方案提供参考。
OCR（Optical Character Recognition，光学字符识别）是一种将图像中的文字转换为机器编码文本的技术。这项技术可以自动读取纸质文档上的文字信息，并将其转换成电子格式，便于编辑、存储和检索。OCR 技术在很多领域都有广泛应用，比如数据录入、文献数字化、辅助阅读设备等。
结合图像识别和自然语言处理能力，LLM 可以处理包含文本和图像的混合内容，实现更高级别的信息提取和理解。
在特定领域（如法律、医学等），LLM 可以通过预训练和微调来优化对专业术语的理解和识别，提高特定领域的 OCR 准确性。
| 维度 | 传统 OCR | LLM 驱动 OCR |
|---|---|---|
| 技术成熟度 | 发展几十年，技术成熟，产品丰富 | 快速发展阶段，工具和生态不断完善 |
| 成本效益 | 成本相对较低，适合中小企业 | 初始投资和长期维护成本较高 |
| 应用场景 | 标准化和结构化文档（发票、表格） | 复杂和非结构化文档（手写笔记、多语言） |
| 准确率 | 标准字体高，特殊字体低 | 上下文理解能力强，抗干扰好 |
| 部署方式 | 本地或轻量级云端 | 通常需要云端 API 或高性能本地 GPU |
本章节以图形验证码识别为例，展示如何使用公网大模型 API 实现高效识别。
请对这张图片进行 OCR 识别，并输出最准确的验证码，直接输出识别出的结果字符，不要输出其他内容。
一般来说，7B 参数量的模型在推理时可能需要至少 8GB 到 16GB 的 GPU 显存，但这只是一个粗略的估计。为了更准确地评估所需 GPU 显存，建议参考该模型官方提供的文档或测试环境中的具体要求。如果是在本地运行，还应该考虑是否进行了任何优化措施，比如混合精度训练（使用 FP16 而非 FP32），这可以有效减少所需的显存量。如果您打算进行模型训练而不是简单的推理，那么可能还需要更多的显存来存储梯度信息和其他训练过程中产生的数据。
以下提供使用 Python 调用通义千问大模型 API 的示例代码片段。其他语言逻辑类似。
import os
import json
import base64
import requests
from datetime import datetime
class AliBailianImageService:
def __init__(self, configuration):
self.configuration = configuration
def get_api_key(self):
# 根据环境变量决定从哪里读取 API Key
dev_environment_variable = os.getenv("ENVIRONMENT")
is_development = not dev_environment_variable or dev_environment_variable.lower() == "development"
if is_development:
# 开发环境从配置中读取
api_key = self.configuration.get("DASHSCOPE_API_KEY")
else:
# 生产环境从环境变量读取
api_key = os.getenv("DASHSCOPE_API_KEY")
# 若没有配置环境变量，请替换为实际的 API Key
if not api_key:
print("API Key 未设置。请确保环境变量 'DASHSCOPE_API_KEY' 已设置。")
return None
return api_key
def get_image_base64_string_and_save(self, image_url):
response = requests.get(image_url)
if response.status_code != 200:
raise Exception(f"Failed to download image: {response.status_code}")
image_data = response.content
encoded_image = base64.b64encode(image_data).decode('utf-8')
return encoded_image
def send_post_request(self, url, json_content, api_key):
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json",
"Accept": "application/json"
}
response = requests.post(url, data=json_content, headers=headers)
if response.status_code >= 200 and response.status_code < 300:
return response.text
else:
return f"请求失败：{response.status_code} - {response.text}"
def get_results(self):
api_key = self.get_api_key()
if not api_key:
return None
# 示例图片 URL，实际使用时请替换为有效链接
image_url = "http://example.com/captchaimage.png"
encoded_image = self.get_image_base64_string_and_save(image_url)
url = "https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions"
json_content = {
"model": "qwen2-vl-7b-instruct",
"messages": [
{
"role": "user",
"content": [
{"type": "text", "text": "请对这张图片进行 OCR 识别，并输出最准确的验证码，直接输出识别出的结果字符，不要输出其他内容。"},
{"type": "image_url", "image_url": {"url": f"data:image/png;base64,{encoded_image}"}}
]
}
]
}
json_content_str = json.dumps(json_content)
result = self.send_post_request(url, json_content_str, api_key)
print(result)
return result
if __name__ == "__main__":
# 示例配置
config = {
"DASHSCOPE_API_KEY": "your-api-key-here"
}
service = AliBailianImageService(config)
result = service.get_results()
if result:
print("Result:", result)
通义千问 VL 模型 qwen2-vl-2b-instruct 可以根据传入的图片来进行回答，适合显存受限的场景。以下是 curl 参考命令：
curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{ "model": "qwen-vl-max", "input":{ "messages":[ { "role": "user", "content": [ {"image": "https://img.alicdn.com/imgextra/i2/O1CN01y1lotD1hINrPr60fs_!!6000000004254-0-tps-1384-3024.jpg"}, {"text": "这是什么？"} ] } ] } }'
事实情况下独立部署 LLM 也可以，2B 与 7B 对 GPU 显存要求不高，适合边缘计算场景。
{
"choices": [
{
"message": {
"content": "bafy",
"role": "assistant"
},
"finish_reason": "stop",
"index": 0,
"logprobs": null
}
],
"object": "chat.completion",
"usage": {
"prompt_tokens": 60,
"completion_tokens": 6,
"total_tokens": 66
},
"created": 1730880859,
"system_fingerprint": null,
"model": "qwen-vl-plus",
"id": "chatcmpl-5a306496-300c-9815-8c50-35e98f15508d"
}
目前通义千问仅供免费体验，另一个官方示例是视觉语言模型输出示例。传统 OCR 工具提取的内容不完整且格式混乱。大模型不仅能精准提取图片中的文字，还能以规整的形式输出。
通义千问团队以 Apache 2.0 协议开源了 Qwen2-VL-2B 和 Qwen2-VL-7B，开源代码已集成到 Hugging Face Transformers、vLLM 和其他第三方框架中。开发者可以通过 Hugging Face 和魔搭 ModelScope 下载使用模型，也可通过通义官网、通义 APP 的主对话页面使用模型。
利用 AI 大模型进行图像 OCR 识别代表了该技术的新发展方向。相比传统 OCR，大模型在处理复杂版面、模糊文字及多模态理解上具有显著优势。虽然面临计算成本和延迟的挑战，但随着模型压缩技术和专用芯片的发展，这些问题正在逐步缓解。
对于开发者而言，选择方案时应综合考虑业务场景、数据敏感度、预算及性能要求。短期快速上线推荐调用云端 API，长期稳定且注重隐私的项目建议探索本地化部署开源模型。随着生态的完善，AI 驱动的 OCR 将成为数字化转型中的核心基础设施之一。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online