本地部署开源大模型教程：LangChain + Streamlit + Llama

现在我们可以利用 LangChain 框架来开发使用 LLM 的应用程序。

为了提供与 LLM 的无缝交互，LangChain 提供了几个类和函数，可以使用提示模板轻松构建和使用提示。它包含一个文本字符串模板，可以接受来自最终用户的一组参数并生成提示符。让我们先看几个例子。

没有输入参数的模板：

多个参数的模板：

下面我们可以使用 LangChain 进行集成了：

目前我们使用了单独的组件，通过提示模板对其进行格式化，然后使用 LLM，在 LLM 中传递这些参数以生成答案。对于简单的应用程序，单独使用 LLM 是可以的，但是更复杂的应用程序需要将 LLM 链接起来——要么相互链接，要么与其他组件链接。

LangChain 为这种链接应用程序提供了 Chain 接口。我们可以将 Chain 定义为对组件的调用序列，其中可以包含其他 Chain。Chain 允许我们将多个组件组合在一起，以创建一个单一的、一致的应用程序。例如，可以创建一个 Chain，它接受用户输入，使用 Prompt Template 对其进行格式化，然后将格式化后的响应传递给 LLM。我们可以通过将多个 Chain 组合在一起，或者与其他组件组合在一起，来构建更复杂的 Chain。这其实就和我们一般数据处理中的 pipeline 是类似的。

创建一个非常简单的 Chain，它将接受用户输入，用它格式化提示符，然后使用我们已经创建的上述各个组件将其发送到 LLM。

4. 生成嵌入和向量库

在许多 LLM 应用程序中，需要特定于用户的数据，这些数据不包括在模型的训练集中。LangChain 提供了加载、转换、存储和查询数据的基本组件，我们这里可以直接使用。

上图包含了 5 个组件：

• 文档加载器：它用于将数据加载为文档。
• 文档转换器：它将文档分成更小的块。
• 嵌入：它将块转换为向量表示，即嵌入。
• 嵌入向量存储：用于将上述块向量存储在矢量数据库中。
• 检索器：它用于检索一组向量，这些向量以嵌入在相同 Latent 空间中的向量的形式与查询最相似。

我们将实现这五个步骤，流程图如所提供的下图所示。

我们这里使用维基百科上复制的一段关于一些 DC 超级英雄的文本作为开发测试使用。原文如下：

a. 加载和转换文档

使用文本加载器创建一个文档对象（Lang chain 提供了对多个文档的支持，可以根据文档使用不同的加载器），使用 load 方法检索数据，并将其作为文档从预配置的源加载。

加载文档之后，通过将其分解为更小的块来继续转换过程。使用 TextSplitter（默认情况下，拆分器以 '\n\n' 分隔符分隔文档）。如果将分隔符设置为 null 并定义特定的块大小，则每个块将具有指定的长度。这样就得到了列表长度将等于文档的长度除以块大小的一个块列表。

b. Embeddings

词嵌入只是一个词的向量表示，向量包含实数。词嵌入通过在低维向量空间中提供词的密集表示来解决简单的二进制单词向量由于维数高的问题。

LangChain 中的基 Embeddings 类公开了两个方法：一个用于嵌入文档，另一个用于嵌入查询。前者接受多个文本作为输入，后者接受单个文本作为输入。

因为后面的检索也是检索嵌入在相同潜在空间中最相似的向量，所以词向量必须使用相同的方法（模型）生成。

c. 创建存储和检索文档

矢量存储有效地管理嵌入数据的存储，并加速矢量搜索操作。我们将使用 Chroma，一个专门用于简化包含嵌入的人工智能应用程序的开发的矢量数据库。它提供了一套全面的内置工具和函数，我们只需要使用 pip install chromadb 命令将它安装在本地。

现在我们可以存储和检索向量了，下面就是与 LLM 来整合了。

到这一步，已经可以使用本地运行的 LLM 构建问答机器人了，这个结果还不错，但是我们还有更好的要求，就是一个 GUI 界面。

5. Streamlit

如果你只喜欢命令行的方式运行，则这一节是完全可选的。因为在这里我们将创建一个允许用户上传任何文本文档的 WEB 程序。可以通过文本输入提出问题，来对文档进行分析。

因为涉及到文件上传，所以为了防止潜在的内存不足错误，这里只将简单地读取文档并将其写入临时文件夹中并重命名为 raw.txt。这样无论文档的原始名称是什么，Textloader 都将在将来无缝地处理它（我们这里假设：单用户同时只处理一个文件）。

我们也只处理 txt 文件，代码如下：

import streamlit as st
from langchain.llms import LlamaCpp
from langchain.embeddings import LlamaCppEmbeddings
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma

# Customize the layout
st.set_page_config(page_title="DOCAI", page_icon="🤖", layout="wide", )    
st.markdown(f"""
        <style>
        .stApp {{background-image: url("https://images.unsplash.com/photo-1509537257950-20f875b03669?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=1469&q=80");
                  background-attachment: fixed;
                  background-size: cover}}
      </style>
      """, unsafe_allow_html=True)

# function for writing uploaded file in temp
def write_text_file(content, file_path):
   try:
       with open(file_path, 'w') as file:
           file.write(content)
       return True
   except Exception as e:
       print(f"Error occurred while writing the file: {e}")
       return False

# set prompt template
prompt_template = """Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.
 {context}
 Question: {question}
 Answer:"""
prompt = PromptTemplate(template=prompt_template, input_variables=["context", "question"])

# initialize hte LLM & Embeddings
llm = LlamaCpp(model_path="./models/llama-7b.ggmlv3.q4_0.bin")
embeddings = LlamaCppEmbeddings(model_path="models/llama-7b.ggmlv3.q4_0.bin")
llm_chain = LLMChain(llm=llm, prompt=prompt)

st.title("📄 Document Conversation 🤖")
uploaded_file = st.file_uploader("Upload an article", type="txt")

if uploaded_file is not None:
   content = uploaded_file.read().decode('utf-8')
   # st.write(content)
   file_path = "temp/file.txt"
   write_text_file(content, file_path)  
    
   loader = TextLoader(file_path)
   docs = loader.load()    
   text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
   texts = text_splitter.split_documents(docs)
   db = Chroma.from_documents(texts, embeddings)    
   st.success("File Loaded Successfully!!")
    
   # Query through LLM    
   question = st.text_input("Ask something from the file", placeholder="Find something similar to: ....this.... in the text?", disabled=not uploaded_file,)    
   if question:
       similar_doc = db.similarity_search(question, k=1)
       context = similar_doc[0].page_content
       query_llm = LLMChain(llm=llm, prompt=prompt)
       response = query_llm.run({"context": context, "question": question})        
       st.write(response)

看看我们的界面：

这样一个简单的并且可以使用的程序就完成了。

总结

通过 LangChain 和 Streamlit 我们可以方便的整合任何的 LLM 模型，并且通过 GGML 我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说是非常有帮助的。