AI本地部署全流程指南(2025年3月更新)
一、部署环境准备
1.1 硬件要求
- 最低配置:Windows 10/11 64位系统,8GB内存,20GB硬盘空间(可运行7B模型)
- 推荐配置:16GB+内存,NVIDIA RTX 3060以上显卡,NVMe固态硬盘(支持70B模型)
- 云部署方案:通过骋风算力平台租用GPU资源(如4x RTX 4090集群支持671B模型)
1.2 工具下载
| 工具名称 | 功能定位 | 下载地址 |
|---|---|---|
| Ollama | 模型引擎核心 | ollama.com 3 |
| AnythingLLM | 可视化操作界面 | anythingllm.com 3 |
| 聪明灵犀 | 中文优化插件 | 企业官网下载(需注册) 2 |
| Chatbox | 全平台交互客户端 | chatboxai.app 6 |
二、Ollama核心部署流程
2.1 基础安装
- Windows系统:双击
OllamaSetup.exe完成安装
环境配置(关键步骤):bash
# 设置模型存储路径