LlamaIndex 安装与配置:本地模型集成指南
LlamaIndex 是一个用于构建数据感知大型语言模型(LLM)应用的框架。本文将详细介绍如何在本地环境中安装 LlamaIndex,并配置非 OpenAI 的大模型服务,例如使用 Ollama 和 HuggingFace 嵌入模型。
一、安装方法
1. 标准安装
使用 Pip 安装包含常用组件的启动包:
pip install llama-index
该命令将安装以下核心组件:
- llama-index-core
- llama-index-legacy
- llama-index-llms-openai
- llama-index-embeddings-openai
- llama-index-readers-file
- 其他相关集成包
2. 自定义安装
若不使用 OpenAI 服务,建议按需安装单个包以减少依赖冲突。例如,针对本地 Ollama 模型和 HuggingFace 嵌入的配置:
pip install llama-index-core llama-index-readers-file llama-index-llms-ollama llama-index-embeddings-huggingface
3. 从源码安装
如需参与开发或获取最新功能,可从 GitHub 克隆仓库:
git clone https://github.com/jerryjliu/llama_index.git
cd llama_index
安装 Poetry 管理依赖:
poetry shell
poetry install
可选安装开发与文档依赖:
poetry install --with dev, docs
之后可手动安装特定集成:
pip install -e llama-index-integrations/llms/llama-index-llms-ollama
二、本地模型配置
1. 配置 Ollama 大模型
确保本地已运行 Ollama 服务,并拉取所需模型(如 llama2 或 mistral)。在 Python 代码中初始化服务上下文:
from llama_index.llms.ollama import Ollama
from llama_index.core import ServiceContext
llm = Ollama(model="llama2", request_timeout=120.0)
service_context = ServiceContext.from_defaults(llm=llm)
2. 配置 HuggingFace 嵌入模型
使用 HuggingFace 提供的嵌入模型生成向量表示:
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
embed_model = HuggingFaceEmbedding(
model_name=
)
service_context = ServiceContext.from_defaults(
llm=llm,
embed_model=embed_model
)


