端侧全模态大模型 Megrez-3B-Omni 实测与部署指南

注：当前版本暂时不支持多图输入，内部消息表示下一版本将支持多图和视频。

语音能力测试

1. 语音转文本 (ASR)

结果： 识别准确，无明显错误。

2. 语音问答

结果： 能理解语音内容并给出正确回答，实现了端到端的语音交互体验。

由于端侧部署环境限制，音频测试主要在电脑端进行，实际移动端性能需结合具体硬件评估。

Web-Search 项目详解

除了模型本身，无问芯穹还开源了基于 Megrez-3B-Instruct 的 Web-Search 方案，可本地搭建类似 Kimi 或 Perplexity 的搜索助手。

1. 技术架构

该项目并非简单的 RAG 总结，而是包含以下工程细节：

• 摘要过程： 去除无效网页信息，缓存内容以提高回复效果。
• 工具调用时机： 模型能准确判断何时调用 Search Tool，避免日常问题过度依赖搜索引擎。
• 多轮对话理解： 在检索过程中保持上下文一致性。
• 引用格式： 输出带 [[citation:x]] 格式的参考文献，增强可信度。

2. 核心 Prompt 设计

项目使用了特定的 Prompt 模板来控制生成行为。

SUMMARY_PROMPT_TEMPLATE = (
    '从信息中总结能够回答问题的相关内容，要求简明扼要不能完全照搬原文。直接返回总结不要说其他话，如果没有相关内容则返回"无相关内容", 返回内容为中文。\n\n'
    "<问题>{question}</问题>\n"
    "<信息>{context}</信息>"
)

OBSERVATION_PROMPT_TEMPLATE = (
    "You will be given a set of related contexts to the question, "
    "each starting with a reference number like [[citation:x]], where x is a number. "
    "Please use the context and cite the context at the end of each sentence if applicable.\n\n"
    "Please cite the contexts with the reference numbers, in the format [citation:x]. "
    "If a sentence comes from multiple contexts, please list all applicable citations, like [citation:3][citation:5]. "
    "If the context does not provide relevant information to answer the question, "
    "inform the user that there is no relevant information in the search results and that the question cannot be answered."  # noqa: E501
    "\n\n"
    "Other than code and specific names and citations, your answer must be written in Chinese.\n\n"
    "Ensure that your response is concise and clearly formatted. "
    "Group related content together and use Markdown points or lists where appropriate.\n\n"
    "Remember, summarize and don't blindly repeat the contexts verbatim. And here is the user question:\n"
    "{question}\n"
    "Here is the keywords of the question:\n"
    "{keywords}\n\n"
    "Here are the set of contexts:\n\n"
    "{context}"
)

3. 部署流程

启动流程分为三步：检索服务、模型服务、Demo 界面。

第一步：启动检索服务

需要配置 SERPER_API_KEY，并指定 Chrome 路径。

export SERPER_API_KEY=$YOUR_API_KEY
cd infini_websearch/service
python search_service.py --port 8021 --chrome ./chrome-linux64/chrome --chromedriver ./chromedriver-linux64/chromedriver

第二步：启动模型服务

使用 vLLM 进行加速推理。

python -m vllm.entrypoints.openai.api_server --served-model-name megrez --model $MODEL_PATH --port 8011 --max-seq-len 4096 --trust_remote_code

第三步：启动 Demo 界面

使用 Gradio 构建前端交互。

python gradio_app.py -m $MODEL_PATH --port 7860

4. 系统要求与优化

• 显存需求： 3B 模型在量化后可在消费级显卡运行，建议至少 6GB 显存。
• 并发优化： 调整 --max-seq-len 和 batch size 以平衡响应速度与吞吐量。
• 缓存策略： 利用工程中的摘要缓存机制减少重复搜索成本。

总结与展望

Megrez-3B-Omni 在小参数模型领域提供了优秀的多模态体验，尤其在端侧部署成本上具有显著优势。尽管在 OCR 准确性和复杂数学推理上仍有提升空间，但作为全模态模型已属难得。

Web-Search 项目的开源进一步拓展了其应用场景，使得本地化知识库问答成为可能。未来版本若能支持多图输入并优化 OCR 稳定性，将更具竞争力。

对于开发者而言，关注此类 SLM（Small Language Models）的发展至关重要。随着模型压缩技术的进步，端侧 AI 应用将迎来爆发期。建议在实际项目中结合具体业务场景，权衡模型大小与性能需求，选择合适的基座模型进行微调或部署。