本地大模型构建知识库：Ollama + LobeChat + AnythingLLM
在本地使用大模型搭建知识库，可以充分保障数据的隐私和安全，同时由于不需要依赖网络连接方便企业内部使用。此外，最重要的是能够对模型和知识库进行定制化，根据具体需求进行调整，从而更好地满足特定业务场景的要求，既能供企业内部使用，也能做成 Server 供客户使用。
哪里可以获取大模型？
大模型的种类很多，而且版本更新比较频繁，不过当前所有流行的开源大模型都可以在 HuggingFace 上下载。HuggingFace 可以说是 AI 模型领域的 Github，这里有 70 多万种模型，涵盖多模态、计算机视觉、NLP、强化学习等领域。
通过 HuggingFace 的分类 Libraries 下的 Transformers 就能获取到大模型的 Trending 流行趋势信息，其中 Meta 的羊驼 Llama3 系列、法国 Mistral AI 的 Mistral 系列、阿里的 Qwen 系列是目前业内最广泛使用的开源大模型。
同时我们也可以关注和了解一下开源大模型的横向评分测评，以下是这三个大模型的评测对比，阿里的通义千问 Qwen2-72B 是当前这个规模最强的开源模型。不过我之所以更推荐国内用户选择 Qwen2，主要是开源大模型对中文的支持程度不同，Qwen2 更适合国内用户。
Ollama、WebUI 工具链
为了方便在本地部署大模型，就需要使用大模型的运行框架，可供选择的方案有 vLLM、LM Studio 等，这里更推荐 Ollama。Ollama 支持 Windows、MacOS、Linux 平台，能够智能地利用可用的硬件资源（GPU 和 CPU）加速推理并优化性能，能够非常方便地安装和管理各种大模型，包括 Qwen2。
Ollama 的安装，以及使用 Ollama 部署模型都非常简单，在官网下载安装好之后通过以下命令就能部署安装 qwen2 7b 的模型，而如果你的本地硬件配置足够，可以选择 72b 的模型。
ollama run qwen2
大模型部署完成后通常只有一个命令行的界面，而有了 Ollama 丰富的生态，我们可以借助于一些 WebUI 工具能与大模型进行聊天的交互，也可以基于 API，将大模型与应用程序和工作流集成。
至于 WebUI，可供选择的方案也有很多，比如 Open WebUI，NextChat，我个人比较喜欢使用 LobeChat，因为它支持很多闭源模型的 API，也支持云端部署的大模型，还支持离线部署的大模型。
