LLM 大模型入门项目推荐：多模态与 RAG 实战指南

![图 1：VisualGLM 图文转换示例]

4. 图生文推理

向模型发送查询指令，例如要求描述图片内容。模型会结合图像特征与文本提示生成自然语言描述。

query = "写诗描述一下这个场景"
history = []
inputs = processor(image, query)

generate_ids, _ = model.generate(**inputs, **generate_kwargs)
responses = processor.get_responses(generate_ids)
history.append([query, responses[0]])
print(responses)

![图 2：图生文结果展示]

5. 图片内容深度推理

在历史对话基础上进行多轮交互，可以询问更具体的细节，如图片中的人物、动作或背景信息。

query = "这部电影的导演是谁？"
inputs = processor(image, query, history=history)
generate_ids, _ = model.generate(**inputs, **generate_kwargs)
responses = processor.get_responses(generate_ids)
history.append([query, responses[0]])
print(responses)

![图 3：图片内容推理结果]

二、LLM——基于 RAG 架构的金融知识库问答（进阶级）

本章节介绍检索增强生成（RAG）技术，解决大模型幻觉问题，实现基于私有文档的精准问答。流程包括文档解析、分块、向量化、存储及检索生成。

0. 环境配置

安装 LangChain 及相关工具库，用于文档处理和向量数据库操作。

# 下载示例文档
!wget https://example.com/carbon.pdf -O carbon.pdf
!wget https://example.com/car.pdf -O car.pdf

# 安装依赖
!pip install transformers langchain openai unstructured tiktoken faiss-cpu sentence_transformers pypdf

1. 载入本地非结构化文档

使用 PyPDFLoader 读取 PDF 文件，提取纯文本内容。支持多种格式加载器，可根据实际文件类型切换。

from langchain.document_loaders import PyPDFLoader

loaders = [
    PyPDFLoader('car.pdf'),
    PyPDFLoader('carbon.pdf')
]

docs = []
for loader in loaders:
    docs.extend(loader.load())

2. 文档分块（Chunking）

将长文档切分为固定大小的文本块，以便后续嵌入。合理的 chunk_size 和 overlap 能平衡上下文完整性与检索精度。

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=30, separator='\n')
splits = text_splitter.split_documents(docs)
print(f"总块数：{len(splits)}")

3. 文本 Embedding 向量化

使用预训练模型将文本块转换为高维向量，捕捉语义信息。moka-ai/m3e-base 是中文效果较好的开源模型之一。

from langchain.embeddings import HuggingFaceEmbeddings

embedding_model = 'moka-ai/m3e-base'
embeddings = HuggingFaceEmbeddings(model_name=embedding_model)

4. 存入向量数据库

以 FAISS 为例构建本地向量索引。FAISS 适合单机快速检索，生产环境可考虑 Milvus 或 Chroma。

from langchain.vectorstores import FAISS

vector_store = FAISS.from_documents(splits, embeddings)

5. 查询与相似性搜索

接收用户提问，在向量库中检索最相关的 Top K 个文本块。注意变量名一致性，此处修正为 query。

query = '政府发布了哪些双碳政策文件'
K = 5

# 修正变量名错误
results = vector_store.similarity_search_with_score(query, k=K)

for i in range(len(results)):
    doc = results[i][0]
    score = results[i][1]
    print(f'来源：{doc.metadata.get("source", "unknown")}')
    print(f'相似度：{score}')
    print(doc.page_content[:100] + '...')

![图 4：RAG 检索结果展示]

6. Prompt 合成

将检索到的上下文拼接，构造包含指令的 Prompt。明确告知模型仅依据已知信息回答，减少幻觉。

context = ''
for doc in results:
    context += doc[0].page_content + '\n'

prompt = f'''你是一个学习助手，请根据下面的已知信息回答问题。
你只需要回答和已知信息相关的问题，如果问题和已知信息不相关，你可以直接回答'不知道'。
问题：{query}
已知信息:{context}'''

![图 5：Prompt 构造示意]

7. 调用 LLM 模型生成答案

封装 API 调用逻辑，获取访问令牌并发送请求。实际生产中建议将密钥存储在环境变量中。

import requests

class BaiduErnie:
    host: str = "https://aip.baidubce.com"
    client_id: str = ""
    client_secret: str = ""
    access_token: str = ""

    def __init__(self, client_id: str, client_secret: str):
        self.client_id = client_id
        self.client_secret = client_secret
        self.get_access_token()

    def get_access_token(self) -> str:
        url = f"{self.host}/oauth/2.0/token?grant_type=client_credentials&client_id={self.client_id}&client_secret={self.client_secret}"
        response = requests.get(url)
        if response.status_code == 200:
            self.access_token = response.json()["access_token"]
            return self.access_token
        else:
            raise Exception("获取 access_token 失败")

    def chat(self, messages: list, user_id: str) -> tuple:
        if not self.access_token:
            self.get_access_token()
        url = f"{self.host}/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant?access_token={self.access_token}"
        data = {"messages": messages, "user_id": user_id}
        response = requests.post(url, json=data)
        if response.status_code == 200:
            resp = response.json()
            return resp["result"], resp
        else:
            raise Exception("请求失败")

# 初始化客户端
client_id = "YOUR_CLIENT_ID"
client_secret = "YOUR_CLIENT_SECRET"
user_id = "YOUR_USER_ID"
baidu_ernie = BaiduErnie(client_id, client_secret)

def chat(prompt):
    messages = [{"role": "user", "content": prompt}]
    result, response = baidu_ernie.chat(messages, user_id)
    return result

8. RAG 流程封装

将检索与生成步骤整合为一个函数，实现端到端的问答体验。

def predict(query):
    results = vector_store.similarity_search_with_score(query, k=K)
    context = ''
    for doc in results:
        context += doc[0].page_content + '\n'
    
    prompt = f'你是一个学习助手，请根据下面的已知信息回答问题。问题：{query} 已知信息:{context}'
    result = chat(prompt)
    print(result)

predict('政府发布了哪些双碳政策文件')

三、推荐项目（综合级）

对于希望深入 LLM/AIGC 领域的开发者，以下项目方向具有较高的学习价值和就业竞争力。建议每个项目投入 2 周以上时间进行系统性实践。

（1）多模态大模型进阶

此方向不仅限于图文转换，还涉及视频理解、语音识别等多模态融合。技术栈通常包括 CLIP、Stable Diffusion 以及最新的 Video-LLM 架构。学习者需要掌握如何对齐不同模态的特征空间，并设计高效的推理管线。重点在于理解 Transformer 在不同模态下的变体结构，以及如何利用 LoRA 等技术进行高效微调。

（3）医学人工智能与大模型

医疗垂直领域对准确性要求极高，且涉及隐私合规问题。项目重点在于构建医疗专用语料库，使用 BioBERT 等基座模型进行领域适应（Domain Adaptation）。同时需关注 HIPAA 等法规，确保数据处理符合安全标准。应用场景包括辅助诊断、病历结构化、药物相互作用检测等。

（4）数字人定制

数字人技术结合了计算机视觉、语音合成与自然语言处理。核心模块包括语音识别（ASR）、情感语音合成（TTS）、唇形同步（Lip-sync）以及 3D 渲染。项目可实现虚拟主播、智能客服等应用。关键技术点在于低延迟交互优化，以及如何让数字人的表情与语音情绪保持一致，提升真实感。

（5）Agent 智能体开发

这是当前最前沿的方向之一。让大模型具备规划能力，能够自主调用工具（API）、执行代码或操作浏览器。技术涉及思维链（CoT）、ReAct 模式以及任务分解算法。开发者需设计完善的记忆机制和环境接口，使 Agent 能完成复杂的多步任务，如自动数据分析报告生成、跨平台业务自动化等。

结语

从基础的图文生成到复杂的 RAG 系统，再到行业级的综合应用，LLM 的学习路径清晰且充满挑战。通过上述项目的实战演练，不仅能掌握核心技术栈，还能积累解决实际问题的经验。建议在学习过程中注重代码规范与文档编写，积极参与开源社区，持续跟踪最新论文与技术动态，从而在 AIGC 领域建立核心竞争力。