博客作者
AI智能
370
已发布文章
9.3K
博客获赞
736K
博客浏览
第 18 页
详细探讨了大语言模型微调中的资源消耗与灾难性遗忘问题，并深入解析了 LoRA 与 QLoRA 两种主流高效微调技术。文章阐述了 LoRA 通过低秩矩阵分解减少可训练参数的原理及其超参数调优策略，同时介绍了 QLoRA 如何利用 NF4 量化和双重量化技术在极低显存下实现大模型微调。文中提供了基于 Hugging Face transformers 和 PEF…
一个从零构建的 AI Agent 框架的设计与实现方案。框架采用服务与编排分离的 BaaS 架构，包含 Web UI 编排层、Agent 服务层及多种运行时环境（Python, WASM）。核心特性包括开放式编排、无限能力扩展及严格的安全沙箱机制。通过对比 Coze、Dify 等现有工具的局限性，阐述了自主构建框架的必要性。文章详细讲解了系统架构、协议设计、…
开源医疗大模型排行榜及其在健康领域的应用。文章详细阐述了大型语言模型在医疗行业的潜力与风险，特别是幻觉问题对病人护理的潜在危害。重点分析了排行榜使用的核心数据集，包括 MedQA、MedMCQA、PubMedQA 及 MMLU 医学子集，解释了各数据集的评估侧重点。文中对比了商业模型与开源模型的性能差异，指出开源小参数模型在特定任务上已具备竞争力。此外，文章…
大模型量化旨在降低部署成本并提升推理性能，主要涉及权重、激活及 KV Cache 的压缩。重点解析两种训练后量化方案：LLM.int8() 通过混合精度分解处理激活中的离群值，保留少量特征为 FP16 其余为 INT8，虽精度高但推理速度较慢，无需校准数据；GPTQ 基于 OBQ 优化，采用 int4/fp16 混合量化，利用 Cholesky 分解和延迟批…
基于 LangChain 框架搭建本地知识库系统的流程。首先阐述了 RAG（检索增强生成）技术如何解决大模型知识滞后和幻觉问题，随后详细说明了环境依赖安装、Embedding 模型配置及向量数据库 Chroma 的使用。通过 WebBaseLoader 加载文档，利用 RecursiveCharacterTextSplitter 进行分块，结合 Azure…
系统介绍了大语言模型（LLM）的原理、构建方法及应用趋势。内容涵盖语言模型进化历程、GPT/LLaMA/PaLM 等主流模型家族、数据清洗与分词技术、预训练与微调策略、对齐方法与解码策略。同时探讨了模型在提示工程、RAG 增强及智能体构建中的实际应用，分析了其在基准测试中的表现及面临的幻觉、一致性等挑战。最后展望了更小高效模型、新架构范式、多模态融合及安全伦…
AI产品经理是连接技术与商业的桥梁。其核心职责包括数据分析、市场洞察及用户体验设计；必备技能涵盖机器学习基础、敏捷开发及跨领域协作；并深入探讨AI技术原理、数据伦理、产品构建策略及团队协作方法。通过案例分析与资源推荐，为从业者提供从入门到进阶的系统化学习路径与实战指导。
基于 Chroma 与 Ollama 构建本地 RAG 应用。通过本地部署 LLM 和 Embedding 模型，结合 LangChain 框架实现网页内容的向量化存储与检索增强生成。教程涵盖环境配置、数据分块、Prompt 优化及 Gradio 界面构建，提供完整的本地化知识库问答解决方案。重点介绍了参数调优、向量持久化及最佳实践，确保应用稳定高效运行。
LangChain 框架的核心概念与快速入门方法。内容涵盖 LangChain 的六大组件（模型、提示、索引、记忆、链、代理）、环境配置及安装步骤。详细演示了如何使用 OpenAI 模型、构建提示模板、实现输出解析、搭建向量数据库（FAISS）以及创建检索链。此外，文章还讲解了如何结合外部工具构建智能代理，并利用 LangServe 将应用部署为 REST…
GraphRAG 通过构建知识图谱解决传统向量检索在宏观查询上的不足。介绍其核心原理、环境配置、索引构建及全局与局部检索方法，并分析其在商业落地中的成本与局限性。内容涵盖实体提取、社区检测、配置详解及优化建议，旨在帮助开发者深入理解 GraphRAG 架构并评估适用场景。
Ollama 是一个用于本地部署和管理开源大语言模型的框架，极大简化了安装和配置流程。在 Linux、Mac 和 Windows 系统上安装 Ollama 的方法，包括 Docker 支持。内容涵盖如何启动服务、下载并运行 Llama 2、Mistral 等模型，以及通过 REST API 进行交互。此外，还讲解了如何配置局域网访问、指定 GPU 设备、修改…
AI 模型组合是一种结合多个模型解决复杂问题的策略，利用各模型优势提升准确性与分析深度。常见实现方式包括顺序处理与并行处理，适用于多模态应用、集成建模及文档分析流水线等场景。该方案能显著提高系统性能，优化资源分配，并提供定制灵活性。文章探讨了使用 BentoML 进行多模型服务编排的实践，涵盖代码示例与部署架构，并分析了生产环境中面临的复杂性挑战，如配置管理…
大语言模型微调旨在利用预训练模型在特定任务上优化性能。阐述了微调的概念、作用及与 RLHF 的区别，重点介绍了参数高效微调技术 LoRA 的原理与实现。通过 DistilBERT 电影评论分类的实战案例，展示了数据准备、模型加载、LoRA 配置及训练评估的全过程，验证了低秩适应在降低计算成本的同时能显著提升模型效果。
Sam Altman 预测超级人工智能可能在几年内诞生，强调深度学习随规模扩大的有效性及社会基础设施的重要性。文章探讨了 AI 作为私人助理、虚拟导师的应用前景，以及在医疗、软件等领域的改进潜力。同时指出算力、能源和芯片是普及关键，若基础设施不足可能导致资源稀缺和不平等。面对潜在负面影响，需尽早采取措施最大化收益并最小化危害。未来愿景包括解决气候变化、太空探…
详细阐述了互联网产品经理向 AI 产品经理转型的路径与方法。内容涵盖行业趋势分析、核心技能构建（包括机器学习基础、数据敏感度及项目管理）、工作流程变革（数据处理、模型评估）以及心态调整。文章特别强调了 AI 产品的不确定性特征，提出了应对数据隐私、伦理偏见及效果评估的具体策略，旨在帮助从业者系统性地完成角色转变并提升在 AI 领域的核心竞争力。
Python 凭借高开发效率、丰富生态及在 AI 等领域的广泛应用，成为全球主流编程语言。文章分析了其核心优势包括语法简洁、性能优化及强大库支持，详细阐述了在 Web 开发、人工智能、自动化运维、科学计算及爬虫等领域的应用场景，并探讨了未来在高性能框架和 AI 领域的趋势。
软件工程师成长过程中常出现经验过剩现象，表现为过度关注重构、设计文档及业务大局而忽视核心编码工作。探讨这一趋势的特征及其对开发效率的影响，主张在特定场景下应优先保证代码产出与系统交付，避免陷入过度设计的陷阱。同时分析了技术追逐带来的时间成本，强调专注现有技术与实现能力的重要性。
对应届生春招季，详细解析了如何识别无办公地点、无营业执照、无劳动合同等七类高风险公司特征。重点阐述了三方协议与劳动合同的区别、违约金法律效力、劳动合同必备条款、试用期工资及期限的法律规定，以及社保缴纳的强制性义务。文章还强调了掌握 Python 等编程技术在自动化办公、数据分析等领域的实际应用价值，建议求职者提升技能以增强竞争力，同时提醒注意维权途径，避免权…
Python 入门教程涵盖基础语法、数据类型、函数、模块、面向对象、网络编程及数据库操作等内容。通过实例讲解变量、循环、条件判断等核心概念，并深入解析文件处理、异常处理、并发编程等高级主题。适合零基础学习者系统掌握 Python 编程技能，为后续爬虫、数据分析及人工智能开发打下坚实基础。
生成式人工智能的基本概念、发展历程及技术原理。内容涵盖人工智能历史、机器学习与深度学习的区别、大型语言模型（LLM）的核心工作机制，包括 Token 化、词嵌入、Transformer 架构及注意力机制。文章还解释了预训练、人类反馈强化学习（RLHF）等训练流程，分析了模型幻觉等局限性，并提供了 Python 分词代码示例。最后探讨了大模型面临的算力、安全及…
