
大模型教程:使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
使用 Milvus 向量数据库、vLLM 推理服务和 Llama 3.1 大模型构建检索增强生成(RAG)应用的完整流程。内容涵盖数据准备、Embedding 模型下载、文本切分与向量化存储至 Milvus、基于语义的向量检索,以及利用 vLLM 调用 Llama 3.1-8B 模型生成最终答案。教程包含详细的 Python 代码示例,展示了从环境配置到模型…
博客作者
高并发架构师
331
已发布文章
9.2K
博客获赞
563K
博客浏览
第 16 页

使用 Milvus 向量数据库、vLLM 推理服务和 Llama 3.1 大模型构建检索增强生成(RAG)应用的完整流程。内容涵盖数据准备、Embedding 模型下载、文本切分与向量化存储至 Milvus、基于语义的向量检索,以及利用 vLLM 调用 Llama 3.1-8B 模型生成最终答案。教程包含详细的 Python 代码示例,展示了从环境配置到模型…

详细阐述了 AI 大模型的定义、核心价值及广泛应用场景,涵盖自然语言处理、医疗、金融等多个领域。文章分析了大模型时代的产业机遇与技术护城河,指出 GPU 硬件与云服务是关键受益环节。针对个人发展,提供了从 Python 基础、Transformer 架构理解到模型微调与部署的系统化学习路线,并包含实际代码示例,旨在帮助读者掌握大模型技术以提升职场竞争力。

Jan 是一款开源的本地大模型客户端,支持在个人电脑上离线运行 Llama、Mistral 等模型,也可调用远程 API。 Jan 的安装方法、通过修改配置文件解决 HuggingFace 下载失败的问题、配置远程 OpenAI 服务以及启动本地 API Server 供外部调用的完整流程。同时提供了 API 调用示例及系统要求说明,帮助用户快速搭建私有化…

介绍使用 Python 和 TensorFlow 框架进行 AI 模型训练的完整流程。内容涵盖环境搭建、数据加载与增强、CNN 模型构建、训练过程配置及效果评估。通过猫狗图像分类实战项目,帮助零基础学习者掌握深度学习核心步骤,包括 Anaconda 环境配置、自定义 DataLoader 类、BatchNormalization 优化、EarlyStoppi…

探讨了 RAG(检索增强生成)技术在企业大模型落地中的重要性及其面临的挑战。文章对比了微调与 RAG 方案的优劣,指出 RAG 在降低幻觉、实时更新知识方面的优势,但也面临开发门槛高、文档解析难等问题。随后介绍了浪潮信息元脑企智 EPAI 平台的解决方案,详细阐述了创建知识库、配置检索参数、对话交互三个核心步骤,并结合某 IT 企业的实战案例展示了其在售前助…

全面回顾了多模态大语言模型(MLLMs)时代的数学推理研究进展。文章从基准、方法论和挑战三个维度展开分析,梳理了自 2021 年以来 Math-LLMs 的发展脉络,包括 GPT-f、Minerva 等标志性模型。内容涵盖数据集、任务类型及评估标准的演变,并将方法论分类为推理者、增强者和规划者三种范式。针对当前研究现状,文章指出了多模态对齐、推理深度、评估体…

介绍使用 ComfyUI 和 AnimateDiff 插件制作 30 秒人物成长 AI 视频的流程。主要步骤包括安装必要组件、加载工作流文件、配置检查点模型与 VAE、设置动作模块及负向嵌入,并通过 BatchPromptSchedule 节点定义不同年龄段的画面描述。最终通过 Queue Prompt 生成视频,实现从婴儿到老人的时间演变效果。

详细解析了 LLM、GPT、AIGC、AI Agent 及 Agentic AI 的核心概念与技术架构。LLM 作为 AI 基座,通过海量数据训练掌握语言规律;GPT 系列由 OpenAI 主导迭代,增强了推理与多模态能力;AIGC 利用生成式 AI 变革内容生产;AI Agent 基于 LLM 具备感知、规划、记忆和执行工具的能力,实现任务自动化;Agen…

介绍如何在本地机器通过 Ollama 部署和运行大语言模型。涵盖 macOS、Windows 及 Linux 系统的安装步骤,包括裸机部署与 Docker 容器化方案。详细讲解模型库使用、自定义 GGUF 模型导入、提示词工程及模型量化技巧。此外,还包含 REST API 服务启动方法、Python 调用示例、Open WebUI 可视化界面搭建以及 One…

DISC-FinLLM 是基于 Baichuan-13B-Chat 微调的金融大模型,采用多专家架构包含咨询、文本分析、计算、知识检索四个模组。通过构建约 25 万条 DISC-Fin-SFT 数据集,结合 LoRA 和全量微调策略,实现了金融场景下的专业化服务。模型集成表达式计算器、方程求解器等工具,支持复杂金融计算。在金融 NLP、人类试题、资料分析及时…

探讨在超大规模集群中训练大语言模型的核心挑战与解决方案。重点分析了数据并行(DP)、张量并行(TP)和流水并行(PP)的混合策略,以及通信与计算重叠技术对提升效率的作用。介绍了上下文并行(CP)解决长文本显存限制的方法,结合 GQA 优化通信开销。阐述了基于 GEMM Last 的重计算策略和内存换显存的流水线感知卸载方案,显著降低显存占用并提升吞吐量。最后…

演示了如何使用 AnythingLLM 结合 DeepSeek R1 模型构建本地知识库并进行数据分析。通过上传 Excel 数据,AI 能够准确执行累计查询、分布分析及增长归因,甚至生成战略建议。文章详细记录了从数据准备、向量化处理到 API 配置的完整流程,并提供了 Docker 部署命令及安全隐私注意事项。实验表明,该方案在数据准确性上与传统 BI 工…

深入分析了 Android 系统中进程名与线程名的底层实现机制。从 Linux 内核的 task_struct 和 command line 出发,探讨了 ps、top 等工具显示名称的来源。重点阐述了 Zygote 启动、ART 虚拟机及 Java 层线程命名对 task_struct.comm 和 tlsPtr_.name 的影响。最后对比了 Trace…

我国网络空间安全人才缺口超 140 万,但招聘需求相对较少。主要原因在于高校教育重理论轻实践,毕业生对口率低,以及企业招聘偏好内部推荐或高门槛筛选。中小企业因成本限制难以承担专业人才,大企业则倾向于定向挖掘。建议从业者通过系统学习计算机基础、参与 SRC 实战、靶场练习及 CTF/HVV 比赛提升能力,重视实践操作而非纸上谈兵。

系统梳理了 Android 中高级开发的核心面试考点,涵盖 Java 并发与 JVM 机制、Android 组件生命周期、UI 渲染与事件分发、网络协议与架构设计、性能优化实战及主流开源库源码分析。内容包含多线程线程池原理、HashMap 扩容机制、Activity 启动流程、Glide 图片加载链路、OkHttp 连接池复用等关键技术点,并结合 Jetpa…

Python 零基础学习路线涵盖基础语法、Linux 数据库、Web 开发、爬虫技术、数据分析及机器学习等核心模块。掌握这些技能后,开发者可具备独立接单能力并胜任全栈或后端开发岗位。详细解析了各阶段的学习重点与技术栈,强调实战经验积累的重要性,为初学者提供清晰的进阶路径与职业建议。

LLaMA-Factory 是北航发布的统一高效微调框架,支持 100+ 语言模型。它整合了 LoRA、QLoRA、GaLore 等多种高效优化与计算技术,提供命令行和 Web 界面(LLaMA Board),降低微调门槛。框架包含 Model Loader、Data Worker 和 Trainer 三大模块,支持分布式训练及推理加速。实证表明其在内存占用…

本书系统阐述了人工智能产品经理在 AI 时代的职责定位、能力模型及工作流。内容涵盖从宏观视野到微观需求定义,重点解析了 AI 产品特性对 PM 的要求,如平衡推断概率与成本投入。书中提供了行业分析六维度、需求量化标准、机器学习基础逻辑以及端到端的产品管理方法论。通过梳理干系人分析、痛点挖掘及跨部门沟通技巧,为转型或入门 AI 产品经理的从业者提供了完整的知识…

详细解析了网络安全行业的核心岗位分类,包括安全产品、安全运营、安全攻防及应急响应等方向,并针对不同方向梳理了所需的技能树。文章提供了从零开始的系统学习路径,涵盖网络基础、操作系统、中间件、数据库及编程语言的学习建议,同时强调了实战演练(如 CTF、SRC)的重要性以及法律法规与职业道德的约束,旨在帮助初学者明确职业定位并制定科学的成长计划。

网络安全行业人才缺口巨大,预计 2027 年达 327 万,是高薪且入门友好的领域。文章梳理了该行业的五大核心方向:安全规划与设计、建设实施、运行维护、应急防御、合规管理,并详细列举了包括安全架构师、渗透测试、SOC 分析师在内的十大典型岗位及其职责与技能要求。内容旨在帮助求职者了解职业路径,明确发展方向,抓住行业红利。