梳理了自然语言处理模型从 Word2Vec 到 Transformer 的演化历程，对比了 Encoder-only、Decoder-only 及 Encoder-Decoder 三种架构的特点。重点介绍了 Alpaca、ChatGLM-6B、Vicuna、MOSS、Lamini 及 Mini-GPT4 等主流开源大语言模型的技术细节、参数量及部署方案。文章还涵盖了量化技术、推理框架选择及工程实践建议，为开发者理解和应用开源 LLM 提供系统性参考。
自然语言处理（NLP）的发展经历了从词向量到 Transformer 架构的显著转变。在 Transformer 出现之前，以 Word2Vec 为代表的词向量模型是主流。
Word2Vec 将每个词映射为一个紧凑的低维向量，而非传统的 One-Hot 编码。谷歌在论文《Efficient Estimation of Word Representations in Vector Space》中提出了两种核心方法：
Transformer 架构的出现催生了三个主要分支：
尽管 ChatGPT 取得了巨大成功，但其 API 封闭。Meta 等大厂提供了 OPT、BLOOM、LLaMA 等开源模型，推动了社区发展。
开源社区致力于用更小的参数量逼近闭源模型效果，并优化部署体验。以下是值得关注的开源项目：
斯坦福大学发布的 Alpaca 模型基于 Self-Instruct 技术生成的 52K 指令数据，在 7B LLaMA 模型上进行微调。初步评估显示，Alpaca 7B 的表现接近 text-davinci-003 (GPT-3)。
清华系推出的 ChatGLM-6B 是基于 General Language Model (GLM) 架构的中英双语对话模型，拥有 62 亿参数。
Vicuna 是由加州大学伯克利分校、CMU、斯坦福大学等机构联合推出的开源聊天机器人。它基于 LLaMA 和 Alpaca 项目，使用增强数据集进行训练，旨在以较低成本实现接近 GPT-4 的对话质量。
复旦大学发布的 MOSS 是一个拥有 160 亿参数的开源对话语言模型。由约 7000 亿中英文及代码单词预训练得到，对精度要求不高的场景甚至可在单张 RTX 3090 显卡上运行。
Lamini 是由斯坦福开发者发布的大模型引擎，旨在帮助开发人员快速定制模型。它允许用户基于公司或机构的基础模型，快速构建定制化应用。
# Lamini 官方仓库
https://github.com/lamini-ai/lamini/
Mini-GPT4 提供了在 Vicuna-7B 上对齐的预训练模型，专注于多模态任务，显存消耗可低至 12GB。
# MiniGPT-4 官方仓库
https://github.com/Vision-CAIR/MiniGPT-4
在实际应用中，大模型的部署需要考虑硬件资源与推理效率。
为了降低显存占用，量化是关键技术。常见的量化级别包括 FP16、INT8 和 INT4。
推荐使用高效的推理框架，如 vLLM、Text Generation Inference (TGI) 或 llama.cpp，它们针对大模型推理进行了优化，支持高并发和低延迟。
开源大语言模型正在快速发展，从早期的简单指令微调到如今的多模态、长上下文支持，技术迭代迅速。对于开发者而言，选择合适的开源模型并结合具体业务场景进行微调，是构建 AI 应用的关键路径。未来，随着硬件算力的提升和算法的优化，本地化部署高质量大模型将成为常态。
注：本文内容基于公开技术资料整理，具体模型参数与性能请以官方文档为准。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online