大模型入门实战：VisualGLM 图文生成与 RAG 知识库问答

4. 图生文

输入提示词，让模型根据图片内容生成描述文本。

query = "写诗描述一下这个场景"
history = []
inputs = processor(image, query)

generate_ids, _ = model.generate(**inputs, **generate_kwargs)
responses = processor.get_responses(generate_ids)
history.append([query, responses[0]])
print(responses)

5. 图片内容推理

进行多轮对话，询问图片中的具体细节。

query = "这部电影的导演是谁？"
inputs = processor(image, query, history=history)

generate_ids, _ = model.generate(**inputs, **generate_kwargs)
responses = processor.get_responses(generate_ids)
history.append([query, responses[0]])
print(responses)

二、LLM——基于文心大模型的金融知识库问答（进阶级）

本部分演示如何使用 LangChain 框架结合向量数据库构建 RAG（检索增强生成）系统。

![整体流程示意图]

0. 环境配置

下载示例文档并安装必要的 Python 库。

# （1）下载 PDF 文档
!wget https://zihao-code.obs.cn-east-3.myhuaweicloud.com/20230709-langchain/carbon.pdf
!wget https://zihao-code.obs.cn-east-3.myhuaweicloud.com/20230709-langchain/car.pdf

# （2）安装依赖环境
!pip install transformers langchain openai unstructured tiktoken faiss-cpu sentence-transformers pypdf

1. 载入本地非结构化文档

加载 PDF 文件并提取文本内容。

from langchain.document_loaders import PyPDFLoader

loaders = [
    PyPDFLoader('car.pdf'),
    PyPDFLoader('carbon.pdf')
]

docs = []
for loader in loaders:
    docs.extend(loader.load())

2. 文档 Split 为若干 Chunk 文本块

将长文档切分为适合模型处理的片段。

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=30, separator='\n')
splits = text_splitter.split_documents(docs)
print(f'切分后的文档数量：{len(splits)}')

3. 文本 Embedding -> Vectors

使用嵌入模型将文本转换为向量表示。

from langchain.embeddings import HuggingFaceEmbeddings

embedding_model = 'moka-ai/m3e-base'
embeddings = HuggingFaceEmbeddings(model_name=embedding_model)

4. 存入向量数据库（以 FAISS 为例）

构建知识库文本 - 向量数据库，支持快速检索。

from langchain.vectorstores import FAISS

vector_store = FAISS.from_documents(splits, embeddings)

5. Query 查询（用户提问）

针对用户问题进行相似性搜索，从知识向量库中检索最相似的 TOP K 个 Chunk。

query = '政府发布了哪些双碳政策文件'
K = 5

# 注意：变量名需统一，此处修正为 query
docs_and_scores = vector_store.similarity_search_with_score(query, k=K)

# 打印 TOP K Chunk 的来源、字数、和 query 相似度打分
for doc, score in docs_and_scores:
    source = doc.metadata['source']
    content = doc.page_content
    print(f'来源：{source}，      字数：{len(content)}，      相似度打分：{score}')
    print(content[:30]+'......')
    print('————————————————————————————————————')

6. Prompt 合成

将检索到的上下文拼接，构造发送给大模型的提示词。

context = ''
for doc, score in docs_and_scores:
    context += doc[0].page_content if isinstance(doc, tuple) else doc.page_content
    context += '\n'

prompt = f'''你是一个学习助手，请根据下面的已知信息回答问题，你只需要回答和已知信息相关的问题，如果问题和已知信息不相关，你可以直接回答'不知道'。
问题：{query}
已知信息:{context}'''

7. 调用 LLM 模型，实现答案生成任务

封装百度文心一言 API 调用逻辑。

import requests

class BaiduErnie:
    host: str = "https://aip.baidubce.com"
    client_id: str = ""  # 替换为您的 Client ID
    client_secret: str = ""  # 替换为您的 Client Secret
    access_token: str = ""

    def __init__(self, client_id: str, client_secret: str):
        self.client_id = client_id
        self.client_secret = client_secret
        self.get_access_token()

    def get_access_token(self) -> str:
        url = f"{self.host}/oauth/2.0/token?grant_type=client_credentials&client_id={self.client_id}&client_secret={self.client_secret}"
        response = requests.get(url)
        if response.status_code == 200:
            self.access_token = response.json()["access_token"]
            return self.access_token
        else:
            raise Exception("获取 access_token 失败")

    def chat(self, messages: list, user_id: str) -> tuple:
        if not self.access_token:
            self.get_access_token()
        url = f"{self.host}/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant?access_token={self.access_token}"
        data = {"messages": messages, "user_id": user_id}
        response = requests.post(url, json=data)
        if response.status_code == 200:
            resp = response.json()
            return resp["result"], resp
        else:
            raise Exception("请求失败")

# 填入文心大模型后台的 API 信息
client_id = ""       # 自己的 client_id
client_secret = ""   # 自己的 client_secret
user_id = ""         # 自己的 user_id
baidu_ernie = BaiduErnie(client_id, client_secret)

def chat(prompt):
    messages = []
    messages.append({"role": "user", "content": prompt})
    result, response = baidu_ernie.chat(messages, user_id)
    return result

result = chat('你是哪家公司开发的什么大语言模型？')
print(result)

8. RAG 流程封装

将提示词 Prompt 输入给文心大模型，获得输出结果。

def predict(query):
    docs_and_scores = vector_store.similarity_search_with_score(query, k=K)
    
    context = ''
    for doc, score in docs_and_scores:
        context += doc[0].page_content if isinstance(doc, tuple) else doc.page_content
        context += '\n'
    
    prompt = '你是一个学习助手，请根据下面的已知信息回答问题，你只需要回答和已知信息相关的问题，如果问题和已知信息不相关，你可以直接回答'不知道' 问题：{} 已知信息:{}'.format(query, context)
    
    # 输入文心大模型
    result = chat(prompt)
    print(result)

predict('政府发布了哪些双碳政策文件')
# 输出示例：根据政府发布的信息，中国提出了 30·60'双碳'目标，并发布了《关于完整准确全面贯彻新发展理念做好碳达峰碳中和工作的意见》等纲领性文件...

三、推荐项目（综合级）

为了进一步提升能力，建议尝试以下综合性项目：

1. 多模态大模型：封闭式学习时长约 2 周，深入理解视觉与语言的交互机制。
2. 医学人工智能与大模型：探索垂直领域的专业问答与辅助诊断应用。
3. 数字人定制：定制声音、造型，生成数字人，用于语音识别、聊天及翻译场景。

四、核心技术与扩展建议

1. 关键技术解析

• RAG (Retrieval-Augmented Generation)：通过检索外部知识库来增强大模型的生成能力，有效解决幻觉问题，提升回答准确性。
• Embedding：将非结构化文本转化为高维向量，是语义检索的基础。
• Vector Database：如 FAISS、Milvus，用于高效存储和检索海量向量数据。

2. 常见问题排查

• 显存不足：尝试减小 batch_size 或使用量化版本模型。
• API 限流：调用第三方 API 时注意频率限制，建议增加重试机制。
• 中文乱码：确保文件编码为 UTF-8，并在读取时指定 encoding='utf-8'。

3. 后续学习路径

• 微调 (Fine-tuning)：在特定领域数据上对基座模型进行 SFT 训练。
• Agent 开发：构建能够自主规划任务、调用工具的智能体。
• 部署优化：学习 vLLM、TGI 等推理加速框架，降低延迟。

注：本文档旨在提供技术参考，实际项目中请根据业务需求调整架构与参数。