Ollama 是一款用于构建大语言模型应用的工具，提供 CLI 和服务器接口管理开源 LLM。本文详细说明了在 Windows 和 Linux 环境下安装 Ollama 的步骤，涵盖 Docker CPU 与 GPU 版本的部署方式。通过下载 Codeqwen 和 Qwen2 模型，配合 VS Code 的 Continue 插件配置，实现了本地代码自动补全与 AI 对话功能。此外，还介绍了集成 LanceDB 进行 RAG 向量检索以优化上下文体验的方法，帮助开发者快速搭建高效的本地 AI 编程助手。
Ollama 是一个用于构建大语言模型应用的工具，它提供了一些简单易用的 CLI 和服务器，能够让用户轻松下载、运行和管理各种开源 LLM。
本文以 Windows 环境为例，但实际体验来看，同等硬件环境下 Linux 系统体验会更流畅些。
Windows 用户可访问官网下载安装包。Docker 版本安装说明如下：
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
同时需要先安装 Nvidia Container Toolkit，下载地址：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
ollama serve
ollama list
ollama pull qwen2:72b
ollama run qwen2:72b
docker exec -it ollama ollama run qwen2:72b
通过结合代码生成模型、Ollama 和 IDE 插件来打造强大的代码补全助手。例如使用 Codeqwen 7B 模型 + VSCode 的 Continue 插件，即可实现高效便捷的代码补全功能。
推荐的模型组合：Codeqwen 7B + Qwen2 7B 模型。
ollama run codeqwen
ollama run qwen2:7b
这两个模型中，Codeqwen 7B 是专门用于代码补全的模型，Qwen2 7B 是通用的聊天模型，且两者都不是重量级模型，本地运行负担较小。结合使用可实现代码补全 + AI 助手的聊天功能。
下载并运行好上述两个模型后，前往 VSCode 进行配置，编辑 Continue 插件的 config.json 文件：
{
"models": [
{
"title": "Codeqwen 7B",
"provider": "ollama",
"model": "codeqwen",
"apiBase": "http://127.0.0.1:11434"
}
],
"tabAutocompleteModel": {
"title": "Qwen2 7B",
"provider": "ollama",
"model": "qwen2:7b",
"apiBase": "http://127.0.0.1:11434"
}
}
Continue 插件内置了 @codebase 上下文 provider，能自动从代码库检索最相关的代码片段。借助 Ollama 与 LanceDB 向量化技术，可以更高效地进行代码检索和聊天体验。
ollama pull nomic-embed-text
ollama run nomic-embed-text
继续配置 config.json 启用相关功能。
完成配置后测试代码补全效果及对话功能。其他有价值的点还包括代码自动注释等功能可自行拓展。至此，一个基础的本地 Cursor 风格助手基本搭建完成。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online