大模型本地部署的电脑硬件配置指南

对于比较拮据的朋友，使用单张 3090/4090 运行 7-13B 的大模型是不错的选择。但大模型时代，4090 因为显存小，面临显存不足的问题，更容易过时。而且，由于再考虑，大功率以及大尺寸等因素，组超过 4 张的多卡 4090 可能不太划算。

另外 RTX 6000 Ada 没有 NVLink，但是通信可以走 P2P。在服务器端，L40s 可取代。L40s 是被动散热，而 RTX 6000 Ada 相对安静，因此后者用在工作站中比较合适。

最后，不管是推理还是训练，多卡效率比单卡低很多，可能损失 1/3 以上的性能。预算高推荐上 A100/H100。

三、实测案例：双卡 RTX 6000 Ada 工作站

我目前在使用双卡 RTX 6000 Ada 48GB 工作站，比较适合 70B 8bit 量化的大模型，单卡可以运行 70B 4bit 版或 7-13B 16bit 版。

开源 LLM 测试

目前著名的开源大模型有 Mixtral (Mistral AI), Llama (Meta), Gemma (Google) 等。

• Llama 3 7B 8bit 量化: 显存占用大约为 7.8GB。
• Mixtral 8x7B 8bit 量化: 显存占用大约为 51GB。Mixtral 8x7B int8 量化版兼具速度与效果，很不错。
• Qwen2-72B 8bit 量化: 显存占用大约为 75.6GB。

Stable Diffusion 测试

用 Stable Diffusion 实测单卡效率在 H100 的 60% 左右，可以跑最高分辨率 2048*2048，显存占用在 30GB 左右。双卡算力和总显存应该稍胜 H100。

四、软件环境与优化建议

驱动与框架

确保安装最新的 NVIDIA 驱动程序。推荐使用 PyTorch 2.x 版本以获得更好的 CUDA 支持。推理引擎可选择 vLLM、llama.cpp 或 Ollama，根据具体场景选择。

电源与散热

多卡部署对电源要求极高。建议配备 1600W 以上的钛金级电源，并预留足够的功率余量。散热方面，需保证机箱风道通畅，特别是多卡堆叠时，建议使用专业散热方案或液冷，防止降频。

PCIe 插槽

多卡互联需注意 PCIe 带宽。RTX 系列消费级显卡通常不支持物理 NVLink，依赖 PCIe 总线通信，延迟较高。企业级卡如 A100/H100 支持 NVLink，适合大规模集群。主板需支持足够的 PCIe 通道数，避免带宽瓶颈。

五、总结

本地部署大模型的核心在于显存容量与带宽。根据预算选择合适的显卡组合，注意多卡通信损耗。对于个人用户，双卡 48GB 显存是目前性价比最高的 70B 模型运行方案。随着技术发展，未来可关注支持更大显存的新一代显卡架构。