博客作者
前端工程师
358
已发布文章
12K
博客获赞
1.1M
博客浏览
第 17 页
深入探讨了 PyTorch 框架中的自动微分机制及其核心数学概念——雅可比向量积（JVP）。文章首先介绍了自动微分的基本原理及 PyTorch autograd 模块的工作方式，随后详细解释了雅可比矩阵的定义及其在高维计算中的局限性。重点阐述了雅可比向量积（JVP）与向量雅可比积（VJP）的区别，并通过 Python 代码示例演示了如何使用 torch.au…
本书面向普通开发者，系统介绍大模型应用开发知识体系。涵盖 GPT-4 与 ChatGPT 工作原理、API 集成方法、应用构建安全策略及提示工程与微调技巧。通过解析 Transformer 架构演进、OpenAI API 使用规范、LangChain 框架应用等内容，帮助读者建立从理论到实践的认知，适合入门 LLM 应用开发。
以 Hugging Face 的 rotten_tomatoes 数据集和 gpt2 模型为例，演示了从零开始进行大模型微调的完整流程。内容涵盖环境搭建、数据加载与预处理、Tokenizer 配置、训练超参数设置、Trainer 定义及训练执行。此外，补充了模型保存后的推理方法及常见问题优化建议，帮助开发者掌握微调核心步骤，实现特定场景下的模型性能优化。
AI 产品经理是负责人工智能产品开发、推广及优化的关键角色。随着 AIGC 技术爆发，该岗位需求激增，存在人才缺口。与传统产品经理相比，AI 产品经理需具备更强的技术理解力，涵盖机器学习、计算机视觉或自然语言处理等方向。转行准备包括掌握基础 AI 概念、熟悉产品全流程、积累项目经验并保持持续学习。核心能力涉及大模型系统设计、提示词工程、平台应用开发及微调训练…
大模型应用开发涉及对 GPT 等语言模型的理解、API 集成及框架应用。涵盖 LLM 基本原理、文本生成与问答系统构建、提示工程与模型微调技术，以及 LangChain 框架的使用。内容还包括应用程序架构设计原则、安全漏洞防范及学习路径规划，旨在帮助开发者掌握从基础概念到垂直领域模型训练的全栈技能，实现大模型在电商、物流等行业的有效落地。
大规模语言模型（LLM）分布式训练面临可扩展性、效率和可靠性三大挑战。综述了 LLM 训练系统的最新进展，涵盖 AI 加速器、网络、存储及调度基础设施。重点分析了混合并行、自动并行及异构并行策略，探讨了计算优化（如算子优化、混合精度训练）、内存优化（如激活重计算、ZeRO、卸载）及通信优化（如集体通信算法、调度、网络内聚合）。此外，文章还讨论了容错机制，包括…
DeepSeek R1-Zero 采用纯强化学习而非监督微调，打破了人类数据瓶颈。文章分析了 R1-Zero 与 R1 在 ARC-AGI-1 及 MATH 基准上的表现差异，指出在可验证领域人类标注非必需。探讨了 AI 可靠性与计算成本的关系，以及「推理即训练」的数据经济新模式。R1-Zero 展示了无人类瓶颈的 Scaling 机制原型，推动 AI 向自…
针对 DeepSeek 官方服务频繁拥堵的问题，提供一套基于 Ollama、Milvus 向量数据库及 VSCode Roo Code 插件的本地化部署方案。通过调整模型上下文参数并结合向量检索技术，实现数据隐私保护与低成本高频访问。教程涵盖环境准备、组件安装、配置优化及实战测试，帮助开发者构建稳定高效的私有化 AI 应用环境。
详细解析了大模型领域的四个核心职业方向：数据工程师、平台工程师、算法工程师及部署工程师，并阐述了各方向的技术栈与核心职责。文章指出新人常误以为算法岗最核心，实则工程与数据能力更为关键。内容涵盖数据质量的重要性、分布式训练策略、推理加速技术及端侧部署实践。最后给出入行建议，强调夯实基础、聚焦垂直场景、重视数据思维及持续学习，帮助新手避开误区，快速适应行业需求。
回顾了 2023 至 2024 年 RAG 技术的发展历程，从萌芽期到狂热顶点再到落地困境，分析了当前处于技术成熟度曲线的低谷期。展望 2025 年，RAG 将回归理性，强调明确业务需求与指标。文章详细解析了七种主流 RAG 技术架构，包括朴素 RAG、检索重排序、多模态 RAG、图 RAG、混合 RAG、代理 RAG 及多智能体 RAG，探讨了各自的技术特…
介绍如何使用 LangChain 框架结合 DeepSeek 大模型构建检索增强生成（RAG）系统。内容涵盖模型调用、提示词模板设计、文档加载与分割、文本嵌入与向量存储、重排序（ReRank）优化、链式编排（LCEL）及输出解析。通过阿里云百炼嵌入模型和 FAISS 向量库实现本地知识库索引，利用 BAAI/bge-reranker-large 提升检索精度…
LangChain.js 是构建大模型应用的框架，提供模型调用、流式传输、函数调用等功能。环境准备、ChatModel 实例化、消息处理、流式响应实现、JSON Mode 配置及函数调用流程。内容涵盖基于 Zod 的 Schema 定义、链式编排示例以及错误处理策略，帮助开发者掌握从入门到实战的核心技术点，实现高效的大模型应用开发。
大模型微调的技术价值并非固定不变，而是取决于执行层面的深度。在数据构建上，从直接使用现成数据到利用用户日志驱动及复杂任务拆解，质量差异显著。训练代码层面，理解参数含义、优化框架性能比简单运行脚本更能提升能力。实验分析阶段，结合多维指标与 Bad Case 归因分析，能有效避免过拟合与通用能力下降。最终，SFT 的技术含量由个人定位与具体实践方法决定。
AJAX 技术概述及 XMLHttpRequest 核心 API 详解，涵盖对象创建、属性状态、方法调用、事件监听及文件上传功能，并补充了 Navigator.sendBeacon 在页面卸载场景的应用与现代 Fetch API 的对比。文章详细解析了 XMLHttpRequest 的各个属性与方法，包括 readyState、response、open、s…
基于 FastGPT 的 AI 问答知识库本地化部署全流程。内容包括本地部署的优势分析、技术架构选型、Docker 环境准备、M3E 向量模型与 OneAPI 的安装配置、FastGPT 核心服务的启动以及 MongoDB 副本集初始化。此外，还涵盖了知识库创建、应用搭建、API 集成方法以及常见问题的排查与安全防护建议，旨在帮助用户构建安全可控的私有化 A…
随着网络强国战略推进及新技术融合，网络安全人才缺口显著。分析行业现状与风险，梳理从基础理论到渗透测试、脚本编程的系统化学习路径，涵盖操作系统、Web 安全、Python 自动化等核心技能，为从业者提供入行与进阶的技术参考。
Midjourney AI 绘图工具的使用流程。内容包括 Discord 账号注册与服务器创建、Midjourney Bot 的添加与授权、基础指令/imagine 的使用方法、宽高比与版本等高级参数设置、会员订阅管理以及常见故障排查。文章旨在帮助用户从零开始掌握 AI 绘图技能，实现高效的内容创作。
信息安全是研究信息获取、存储、传输和处理中安全保障的交叉学科。解析了该专业的定义、核心课程及就业方向，指出当前行业人才缺口巨大且政策利好。同时提供了从零基础到高阶提升的学习路径建议，涵盖数学基础、编程能力、网络协议分析及攻防实战技能，旨在帮助读者全面了解信息安全领域并规划职业发展。文章强调了伦理规范的重要性，建议学习者注重持续学习与实战积累。
详细解析了 Transformer 模型的核心架构与实现原理。内容涵盖从 RNN 局限性引入，到 Encoder-Decoder 结构设计，重点阐述了自注意力机制、多头注意力、位置编码及掩码机制的数学推导。同时提供了 PyTorch 代码示例及训练优化技巧，旨在帮助读者深入理解现代大模型的基础构建块。
渗透测试作为安全评估的重要手段，主要分为白盒与黑盒测试。详细阐述了渗透测试与脆弱性评估的区别，介绍了 OSSTMM、ISSAF、OWASP、WASC-TC 及 PTES 等主流安全测试方法论。重点讲解了通用渗透测试框架的十个阶段，特别是信息收集环节，涵盖被动侦察与主动扫描技术，以及 Nmap、Whois 等常用工具的使用。文章还强调了测试过程中的道德准则与法…
