博客作者
独酌清酒
362
已发布文章
8.2K
博客获赞
460K
博客浏览
第 17 页
详细讲解了大型语言模型中的两大核心技术架构：混合专家模型（MoE）与检索增强生成（RAG）。MoE 部分阐述了其起源、稀疏性设计、负载均衡机制以及与 Transformer 的结合方式，重点分析了 Gshard 的实现策略。RAG 部分涵盖了索引构建、检索匹配、生成响应的完整流程，并深入探讨了检索质量、幻觉、信息过时等常见问题及其改进方案，包括预检索优化、重…
探讨了 AI 产品经理的核心能力模型与学习路径。内容涵盖人工智能的本质理解，包括业务转化、产品设计、视觉交互及技术边界把控等六大关键能力。同时介绍了建立输入输出闭环的学习方法，并结合大模型时代背景，阐述了提示词工程、LangChain 应用及模型微调等具体技术方向。旨在帮助从业者系统掌握 AI 产品技能，避免投机心态，实现职业长远发展。
基于 LangGraph 构建人工智能航空客服助手的实践过程。首先完成了环境搭建与 SQLite 数据库初始化，定义了包括航班、酒店、租车及远足活动在内的多类业务工具。接着构建了包含状态管理和代理节点的简单两节点图，实现了零样本代理的基本功能。通过示例对话验证了助手在查询信息和执行预订方面的能力，同时也指出了当前版本在操作确认、搜索效率和上下文利用上的不足。…
文章首先回顾了福特公司五美元日薪的历史故事，引出字节跳动 CEO 张一鸣的人才管理哲学。张一鸣认为招聘是决定战略成功的关键，并提出了人才的三个核心标准：超强学习能力、视野开阔、心智成熟。这三个标准旨在降低公司管理成本和领导心理投入，实现降本提效。文章后半部分详细梳理了 Android 高级开发的技术进阶路径，涵盖 Java 基础、框架设计思想、性能调优、Fr…
从零开始训练大型语言模型（LLM）的完整流程，涵盖基座选择、数据收集与清洗、Tokenizers 训练、预训练、指令微调、RLHF 及模型部署等核心环节。内容包含基于 Hugging Face 和 PyTorch 的代码示例，解释了数据预处理、训练参数配置、评估指标（如困惑度）以及模型压缩与量化技术。文章旨在为开发者提供一套可落地的技术指南，帮助理解大模型训…
深入解析大模型分布式训练的四大核心并行策略：数据并行、张量并行、流水线并行及 ZeRO。内容涵盖原理机制、显存优化方案、通信开销分析及 PyTorch 实践示例。通过对比不同场景下的资源消耗与计算效率，为开发者在单机多卡或多机多卡环境下选择合适的训练架构提供技术依据，旨在解决单卡显存不足及训练速度慢的问题。
详细解析了 Kotlin 中的常用语法糖，重点对比了 let、also、apply、run、with 五个内置函数的参数接收器（it 与 this）及返回值差异，并通过源码剖析揭示了其基于高阶函数和扩展函数的实现原理。文章还补充了扩展函数、数据类及对象声明等语法糖的使用示例，最后总结了各函数的最佳实践场景，旨在帮助开发者写出更简洁、安全的 Kotlin 代码…
LightRAG 是一种基于图的检索增强生成系统，旨在解决传统 RAG 在处理复杂实体关系和上下文连贯性方面的不足。该系统通过基于图的文本索引阶段提取实体与关系，并结合双层检索范式（微观与宏观查询）实现高效信息检索。实验表明，LightRAG 在大规模语料库处理、响应多样性及生成质量上均优于 NaiveRAG、GraphRAG 等基线方法。特别是在检索成本和…
基于 Google DeepMind 的实证研究，探讨了在对齐 AI 时在线方法为何总是优于离线方法。文章对比了 RLHF 与 DPO 等离线算法的差异，指出在同等 KL 散度预算下，在线算法性能更佳。研究通过验证数据覆盖、数据集质量、分类能力、损失函数及模型扩展等假设，发现单纯扩展模型规模或改进分类器无法弥合差距。核心原因在于在线采样能通过动态调整分布提升…
DSPy 是斯坦福大学开发的用于构建基于语言模型应用程序的框架，旨在通过编程而非提示工程来解决应用脆弱性问题。它允许开发者定义签名和模块，并通过编译器自动优化提示或微调模型。文章介绍了 DSPy 的核心思想、工作流程、代码示例及其与 LangChain 的区别，展示了如何通过多跳问答任务演示其优化能力。
深入对比了 MaxKB、Dify、FastGPT、RagFlow 等主流 RAG+AI 工作流+Agent 框架。内容涵盖各平台的核心功能、技术架构、适用场景及优劣势分析。MaxKB 和 Dify 侧重于快速构建与易用性，适合中小团队；FastGPT 和 RagFlow 则在复杂工作流和企业级定制方面表现更强。此外，文章还补充了部署维护建议，涉及资源消耗、数…
SIGIR 24 提出的 LARMOR 方法，旨在解决无监督和零样本场景下密集检索器选择的问题。该方法利用大语言模型模拟人类专家行为，为目标语料库生成伪查询、伪相关性判断和伪参考列表，进而评估并排序各类密集检索器。实验在 BEIR 基准的 13 个语料库上进行，结果显示 LARMOR 在 Kendall Tau 和 Delta e 指标上显著优于现有基线方法…
阐述了 AI 模型构建的核心环节，包括训练阶段的决策边界与拟合泛化平衡，验证阶段的关键性能指标如 AUC、KS 及稳定性指标 PSI，以及通过集成学习提升效果的模型融合策略。同时介绍了模型部署的常见模式与成本考量，旨在帮助产品经理理解算法工程流程，有效评估模型效果并把控项目风险。
2024 年中国 AI 大模型在多个行业加速落地，涵盖金融、医疗、制造及客服等领域。分析大模型应用场景的技术架构与实施路径，探讨算力成本、数据安全及模型微调等关键挑战，并展望多模态融合与边缘计算的未来趋势，为技术决策提供参考。重点介绍了提示词工程、RAG 架构及微调技术在产业中的应用实践。
梳理了大模型（LLM）的学习路径，涵盖从基础原理到工程落地的全流程。内容涉及 Transformer、GPT、BERT 等预训练模型架构，以及 Prompt Engineering、RAG、PEFT（LoRA/QLoRA）、SFT 和 RLHF 等关键技术。同时提供了主流开源模型（Llama、Qwen、ChatGLM）的实战建议，推理加速框架（vLLM、Te…
在本地离线环境下部署 DeepSeek R1 模型的两种主流方案。第一种基于 Ollama 命令行工具配合 Chatbox 图形界面，适合快速上手；第二种基于 Docker 容器化部署 Open WebUI，支持语音输入及多模态交互。教程涵盖环境准备、安装步骤、配置方法及常见问题排查，帮助用户实现数据隐私保护与低成本使用大模型能力。
针对网络小说阅读中频繁出现的广告干扰问题，介绍如何利用 Python 编写简单的爬虫程序，通过 requests 和 lxml 库抓取指定小说网站的章节内容并保存为本地文件。流程涵盖环境配置、XPath 定位、请求发送及文件写入，帮助读者实现无广告离线阅读体验。代码包含异常处理与反爬策略，并提供了法律合规提示及后续优化方向。
对比了程序员客栈、开源众包、Upwork、甜薪工场等十余个程序员接单平台的规模、服务及接单难度。文章分析了各平台的特点，如程序员客栈适合新手循序渐进，Upwork 适合国际化项目，开发邦侧重企业级业务。此外，补充了接单避坑指南，涵盖合同签订、分期付款、需求明确、沟通留痕及知识产权等关键注意事项，帮助程序员在保障权益的前提下选择合适的兼职渠道。
FinRobot 是基于大型语言模型的金融 AI Agent 平台，支持股票预测、财务分析及研报自动生成。平台架构包含金融 AI 代理层、LLM 算法层、LLMOps/DataOps 层及多模型层，通过智能调度器优化任务分配。核心功能涵盖市场预测、文档分析及交易策略生成。安装需配置 Python 环境及 OpenAI 和金融数据 API Key。适用于金融机…
介绍在 CentOS Docker 容器中部署 Python 脚本的方法，利用 psutil 和 rich 库实时监控 CPU、内存、网络及磁盘使用率。内容涵盖环境配置、脚本编写详解、自动化调度及扩展建议，适用于日常运维场景下的轻量级资源监控需求。
