本文详细介绍了无问芯穹开源的端侧全模态大模型 Megrez-3B-Omni 的实测结果与部署方案。模型具备文本、图像、语音三模态理解能力，在端侧部署中具有低资源消耗优势。实测显示其在逻辑推理、信息抽取方面表现良好，但在复杂数学计算和 OCR 精度上仍有优化空间。文章还深入解析了配套的 Web-Search 项目，包括 RAG 架构设计、Prompt 模板及基于 vLLM 的本地部署步骤，为开发者提供了一套完整的端侧多模态 AI 解决方案参考。
近日，无问芯穹开源了端侧全模态大模型 Megrez-3B-Omni。本文将对模型能力进行全方位实测，并详细介绍其 Web-Search 项目的搭建流程。
Megrez-3B-Omni 是由无问芯穹研发的端侧全模态理解模型，基于无问大语言模型 Megrez-3B-Instruct 扩展。该模型同时具备图片、文本、音频三种模态数据的理解分析能力，旨在降低部署成本，实现一个模型处理多模态任务。
| 特性 | 说明 |
|---|---|
| 参数量 | 3B (30 亿) |
| 模态支持 | 文本、图像、语音 |
| 部署场景 | 端侧设备、本地服务器 |
| 基础架构 | 基于 Megrez-3B-Instruct 扩展 |
相较于同等参数量的模型，Megrez-3B-Omni 在保持文本处理能力未受牺牲的前提下，在多模态理解上取得了较好的效果。这体现了当前 AI 发展的一个重要趋势：模型越小越容易落地，而大参数模型虽然智能但资源消耗巨大。
文本评测主要考察逻辑推理、常识判断及数学计算能力。
问题： 9.9 和 9.11 谁大？ 结果： 正确。模型回答简洁，并能解释思路（按数值范围比较），展现了良好的逻辑性。
问题： 用水来兑水，得到的是浓水还是稀水？ 结果： 正确。模型准确理解了'水兑水'的本质仍是水，未产生幻觉。
问题： 小红有 2 个兄弟，3 个姐妹，那么小红的兄弟有几个姐妹？ 结果： 初始回答有误，后纠正为 3。这道题涉及性别判断，3B 模型在此类逻辑题上仍有提升空间，但对于小参数模型而言表现尚可。建议复杂数学问题使用 32B 以上模型。
问题： 涉及伦理、生物、数学的复杂测试题。 结果： 虽未完全答对，但安全对齐表现良好，未输出违规内容。
图像测试涵盖信息抽取、OCR、表格识别等场景。
输入： 谁几点出发，从哪儿到哪儿，并且花了多少钱。 结果： 正确提取关键信息。
输入： 请逐步详细分析，告诉我在中文数据和英文数据分别占比是多少，并且告诉我总和。 结果： 能够执行多步分析与计算，结果正确。
输入： 这张图片里是有两只狗，对吗？ 结果： 经过自我修正，最终识别出一只猫一只狗。展示了模型具备一定的反思能力。
输入： 输出图片中的文字内容。 结果： 存在丢字现象。官方提示 OCR 场景下开启采样可能引入幻觉，建议关闭采样进行推理，但需注意可能引入复读风险。
输入： 识别图片中表格内容，并以结构化格式输出。 结果： 简单表格识别正确。复杂表格目前多模态大模型（包括 GPT-4o）普遍存在识别困难，属于行业共性挑战。
注：当前版本暂时不支持多图输入，内部消息表示下一版本将支持多图和视频。
结果： 识别准确，无明显错误。
结果： 能理解语音内容并给出正确回答，实现了端到端的语音交互体验。
由于端侧部署环境限制，音频测试主要在电脑端进行，实际移动端性能需结合具体硬件评估。
除了模型本身，无问芯穹还开源了基于 Megrez-3B-Instruct 的 Web-Search 方案，可本地搭建类似 Kimi 或 Perplexity 的搜索助手。
该项目并非简单的 RAG 总结，而是包含以下工程细节：
[[citation:x]] 格式的参考文献，增强可信度。项目使用了特定的 Prompt 模板来控制生成行为。
SUMMARY_PROMPT_TEMPLATE = (
'从信息中总结能够回答问题的相关内容，要求简明扼要不能完全照搬原文。直接返回总结不要说其他话，如果没有相关内容则返回"无相关内容", 返回内容为中文。\n\n'
"<问题>{question}</问题>\n"
"<信息>{context}</信息>"
)
OBSERVATION_PROMPT_TEMPLATE = (
"You will be given a set of related contexts to the question, "
"each starting with a reference number like [[citation:x]], where x is a number. "
"Please use the context and cite the context at the end of each sentence if applicable.\n\n"
"Please cite the contexts with the reference numbers, in the format [citation:x]. "
"If a sentence comes from multiple contexts, please list all applicable citations, like [citation:3][citation:5]. "
"If the context does not provide relevant information to answer the question, "
"inform the user that there is no relevant information in the search results and that the question cannot be answered." # noqa: E501
"\n\n"
"Other than code and specific names and citations, your answer must be written in Chinese.\n\n"
"Ensure that your response is concise and clearly formatted. "
"Group related content together and use Markdown points or lists where appropriate.\n\n"
"Remember, summarize and don't blindly repeat the contexts verbatim. And here is the user question:\n"
"{question}\n"
"Here is the keywords of the question:\n"
"{keywords}\n\n"
"Here are the set of contexts:\n\n"
"{context}"
)
启动流程分为三步：检索服务、模型服务、Demo 界面。
需要配置 SERPER_API_KEY，并指定 Chrome 路径。
export SERPER_API_KEY=$YOUR_API_KEY
cd infini_websearch/service
python search_service.py --port 8021 --chrome ./chrome-linux64/chrome --chromedriver ./chromedriver-linux64/chromedriver
使用 vLLM 进行加速推理。
python -m vllm.entrypoints.openai.api_server --served-model-name megrez --model $MODEL_PATH --port 8011 --max-seq-len 4096 --trust_remote_code
使用 Gradio 构建前端交互。
python gradio_app.py -m $MODEL_PATH --port 7860
--max-seq-len 和 batch size 以平衡响应速度与吞吐量。Megrez-3B-Omni 在小参数模型领域提供了优秀的多模态体验，尤其在端侧部署成本上具有显著优势。尽管在 OCR 准确性和复杂数学推理上仍有提升空间，但作为全模态模型已属难得。
Web-Search 项目的开源进一步拓展了其应用场景，使得本地化知识库问答成为可能。未来版本若能支持多图输入并优化 OCR 稳定性，将更具竞争力。
对于开发者而言，关注此类 SLM（Small Language Models）的发展至关重要。随着模型压缩技术的进步，端侧 AI 应用将迎来爆发期。建议在实际项目中结合具体业务场景，权衡模型大小与性能需求，选择合适的基座模型进行微调或部署。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online