
基于 Python 和本地大模型的 RAG 系统构建指南
如何使用 Python、Ollama 和 ChromaDB 构建本地检索增强生成(RAG)系统。内容涵盖环境搭建、PDF 文档 OCR 处理、多模态数据(文本、表格、图像)预处理、向量数据库存储以及基于 Streamlit 的前端交互实现。系统支持在普通笔记本电脑上运行,无需 GPU,确保数据隐私安全。
博客作者
橘子味的海
326
已发布文章
12K
博客获赞
913K
博客浏览
第 16 页

如何使用 Python、Ollama 和 ChromaDB 构建本地检索增强生成(RAG)系统。内容涵盖环境搭建、PDF 文档 OCR 处理、多模态数据(文本、表格、图像)预处理、向量数据库存储以及基于 Streamlit 的前端交互实现。系统支持在普通笔记本电脑上运行,无需 GPU,确保数据隐私安全。

详细阐述了大模型项目的开发流程与实战方法。内容涵盖大模型开发与传统 AI 开发的差异对比,介绍了从设计、架构搭建、Prompt 工程、验证迭代到前后端搭建的全生命周期管理。以个人知识库问答助手为例,深入解析了基于 LangChain 和 Chroma 的 RAG 架构实现,包括文档加载、向量化、检索链构建及 API 集成。此外,还补充了代码结构规范、最佳实践…

大模型是基于大数据、大算力和强算法构建的人工智能系统,具备数十亿至万亿级参数。其核心特点包括巨大规模带来的涌现能力、强大的泛化性能及多任务学习能力。按输入数据类型可分为语言、视觉及多模态模型;按应用层级分为通用、行业及垂直大模型。当前主流模型涵盖文心一言、通义千问、GPT-4O 等。应用场景广泛覆盖自然语言处理、智能助手、知识生成推理等领域,通过微调适应能源…

详细阐述了 Python 爬虫在面对 IP 限制时的解决方案。首先分析了反爬机制的逻辑,解释了代理 IP 如何隐藏真实身份并分散请求压力。接着介绍了 HTTP、HTTPS 及 SOCKS5 等代理类型及其匿名等级,指导用户如何选择高匿代理。内容包含基于 requests 和 aiohttp 的代码示例,展示了基础配置、动态代理池轮换及异步请求的实现方法。此外…

详细讲解了 Python 中 yield 关键字的核心概念及其与生成器的关系。内容涵盖生成器函数的基本工作原理、生成器表达式的使用、状态保存机制以及懒惰计算的优势。文章进一步探讨了 send 方法向生成器发送数据、异常处理与资源清理、以及生成器与列表在内存占用上的性能对比。通过多个代码示例,展示了如何利用 yield 构建无限序列、数据过滤器及高效的数据处理…

一个基于 LLaMA 系基座模型经中文金融知识指令微调的智能问答系统。内容涵盖环境搭建、模型下载、数据集构建(含金融领域数据清洗与增强)、LoRA 微调流程、训练资源需求及效果对比分析。此外,详细说明了提示词模板的使用方法及模型部署优化的最佳实践,包括量化加速、API 服务化及常见问题排查,为金融垂直领域的大模型应用开发提供了完整的技术参考。

文章探讨了 Python 全局解释器锁(GIL)对多核并行编程的限制及其在 AI 和科学计算领域的影响。重点介绍了 PEP-703 提案,该提案旨在通过构建时配置项使 GIL 成为可选项,从而允许构建无 GIL 的 CPython 解释器。文中分析了实现无 GIL 所需的技术变更,包括引用计数、内存管理和容器线程安全等,并指出了可能带来的生态割裂和单线程性能…

DeepSeek R1 是国产高性能推理模型,支持开源和商用。其核心优势及性能表现,详细讲解了基于 Ollama 的本地部署流程,包括安装、模型下载与运行,并提供了通过 Open Web UI 访问及在 Python 项目中集成本地与云端 API 的代码示例,帮助开发者快速上手使用。

详细阐述了网络安全的核心概念,涵盖信息安全与网络安全的区别、CIA 三要素(机密性、完整性、可用性)、常见网络威胁(IP 欺骗、DNS 劫持、DDoS 攻击)、密码学应用(对称与非对称加密)、风险分析流程及安全策略分类。文章还解析了 OSI 安全体系结构、防火墙、入侵检测等关键技术,并通过问答形式深入解释了计算机病毒、木马、后门、蠕虫等恶意软件原理。此外,文…

量化金融领域主要分为量化研究、量化开发和量化交易三大核心岗位。量化研究员负责通过数据分析挖掘交易信号和构建策略,要求深厚的数学统计背景和 Python 编程能力;量化开发工程师专注于交易系统架构与高性能代码实现,需精通 C++ 及 Linux 系统编程;量化交易员负责策略执行与资金管理,强调心理素质与市场敏锐度。所有岗位均需具备金融、数学和编程的复合知识体系…

深入解析了大模型时代下的智能体(Agent)技术。文章阐述了智能体与大模型的区别,重点介绍了智能体的三大核心构成:规划(Planning)、记忆(Memory)和工具使用(Tool Use)。文中详细讲解了思维链(CoT)、思维树(ToT)、ReAct 等规划策略,区分了短期与长期记忆的应用场景,并说明了 Function Calling 的实现机制。此外,…

网络安全行业人才缺口大,薪资起点高,就业选择广。详细盘点渗透测试、安全运维、安全运营、安全开发、等保测评、安全研究、网络工程师、安全管理工程师、售前及售后工程师等十大核心岗位,解析各岗位职责、难度、薪资趋势及技能要求,为转行或求职人员提供全面的职业参考与发展路径建议。

系统梳理了大语言模型(LLM)的研究进展与核心技术。内容涵盖语言建模的历史演变,从统计语言模型到神经语言模型,再到预训练语言模型及大语言模型的技术细节。文章重点分析了 LLM 与 PLM 的区别,包括涌现能力、交互方式变革及研工界限模糊。同时探讨了 LLM 在 NLP、IR、CV 等领域的影响,以及面临的不可解释性、高成本和安全性对齐等挑战。最后,综述从预训…

LLM 大模型的六项核心技术,包括 Transformer 架构、预训练范式、基于人类反馈的强化学习(RLHF)、模型压缩技术、多模态融合以及算力资源投入。重点阐述了各技术的原理、优缺点及应用场景,强调了在规模定律下资金与计算资源对大模型发展的决定性作用,为理解大模型底层逻辑提供了系统性的技术视角。

如何在本地笔记本上利用 CPU 资源搭建私有化大模型知识库。内容涵盖 Ollama 模型管理工具的安装与配置、Open WebUI 图形界面的部署方式、AnythingLLM 文档处理流程,以及针对 RAG 检索增强生成的优化策略。通过量化模型选择、内存管理及推理加速技巧,帮助开发者在保障数据隐私的前提下,低成本实现企业级知识问答系统,并提供常见故障排查方案…

本地离线部署大模型 Ollama+AnythingLLM 涉及安装 Ollama、配置环境变量、加载自定义模型文件及运行测试。随后通过 AnythingLLM 前端工具连接 Ollama 接口,设置向量数据库并新建空间,完成本地化 AI 对话环境的搭建。该方案支持 Qwen 等模型私有化部署,确保数据隐私与离线可用性。

Hibernate 是 Java 领域经典的持久层框架,通过完整示例演示了如何连接 MySQL 数据库。内容涵盖数据库表结构设计、hibernate.cfg.xml 配置、XML 实体映射文件编写、Java 实体类定义以及 Session 生命周期管理。代码部分展示了基础的增删改查操作流程,包括事务提交与资源释放的关键步骤。适合需要了解 Hibernate…
超大型 Oracle 数据库设计需满足百万级用户、TB 级数据量及高可用性要求。核心策略包括应用划分以减少 PING 现象,物理结构设计优化表空间与存储参数,以及合理的硬盘分配。备份恢复方面涵盖物理冷/热备份与逻辑备份,需平衡存储空间、性能影响及恢复时间。
项目管理涉及项目定义、干系人识别及九大知识领域。项目具有一次性、独特性及渐进明细特点。项目经理兼具领导与管理职责。九大知识领域涵盖范围、时间、成本、质量等核心内容及人力、沟通等辅助内容。组织形式包括职能型、项目型及矩阵型。生命周期涵盖定义至结尾各阶段,管理过程遵循启动、规划、执行、监控、收尾五大过程组,体现 PDCA 循环思想。

RocketMQ 消息存储是系统最核心的模块之一,涉及 CommitLog 等关键文件的组织与管理。文章解析了存储整体架构,重点介绍基于 PageCache 与 Mmap 的内存映射机制,以及不同场景下的刷盘策略。CommitLog 作为消息主体存储,采用固定大小文件与顺序写模式,确保高吞吐性能。