PythonAI算法
大模型 Offload 技术实现低显存推理优化
综述由AI生成大模型低显存推理优化的常用方法，重点讲解了 Offload 技术在 HuggingFace Transformers、DeepSpeed ZeRO-Inference、llama.cpp、vLLM 及 TensorRT-LLM 等框架中的应用。通过权重卸载和 KV Cache 卸载策略，实现在有限显存下运行大规模模型，涉及 Kernel 优化、模型压缩等技术细节及具体代码示例。
分类：编程语言 · Python
PythonAI算法
构建高效的本地知识库：RAG 技术的应用与实践
RAG 技术通过检索增强生成，有效解决大模型幻觉并提升特定领域问答准确性。文章阐述本地知识库构建的重要性，详解 RAG 技术原理与优势，包括文本分块、向量嵌入、检索增强及生成流程。同时介绍基于 LangChain 的落地方案，提供注意事项、优化建议及企业实践案例，指导构建高效安全的本地知识系统。
PythonAI算法
校招生做大模型，选预训练还是 SFT？
校招新人进入大模型领域时，建议优先选择预训练（Pretrain）方向而非微调（SFT）。预训练涉及大规模数据清洗、分布式训练框架调试及底层环境配置，能显著提升工程代码能力；而 SFT 更多聚焦于数据标注与 Prompt 优化。从职业成长角度看，掌握预训练技术后转岗 SFT 较为容易，反之则需重新学习训练框架。此外，预训练的数据清洗工作更能锻炼新人处理海量脏数据的能力。新人应利用身份优势挑战高难度技术，夯实基础，主动学习核心知识，而非局限…
PythonAI算法
12 个大模型推理框架详解
综述由AI生成大模型推理框架的定义、核心指标及主流方案对比。框架作为软件组件规范，旨在解决复杂问题并支持开发者快速实现需求。大模型推理框架主要关注吞吐量与延迟两个关键指标。文中详细对比了 vLLM、Transformers、HuggingFace TGI、DeepSpeed、Llama.cpp、TensorRT-LLM 等十二种框架的优缺点及适用场景。例如 vLLM 在吞吐量和内存效率上表现优异，适合高并发请求；DeepSpeed 提供高性能优化技术…
PythonAI算法
融合大模型与遥感技术：人工智能基础模型综述
综述由AI生成遥感领域正经历人工智能技术的深刻变革，基础模型成为关键。综述了 2021 年至 2024 年发布的 51 个视觉基础模型，涵盖架构、数据集及预训练方法。重点分析自监督学习、Transformer 及 CNN 主干网络在场景分类、目标检测等任务中的应用。尽管性能提升显著，仍面临数据质量、计算资源及泛化能力等挑战。文章为研究人员提供技术全景与未来方向建议。
PythonAI算法
Hugging Face 推出四门免费 AI 课程，含中文版本
综述由AI生成Hugging Face 推出了四门免费的 AI 学习课程，涵盖深度强化学习、自然语言处理、音频处理及开源 AI 指南。课程基于 Hugging Face 生态教学，除深度强化学习外其余三门均有中文支持。内容涉及 Transformer 原理、Stable Baselines3 等库的使用、语音识别与生成以及 RAG 系统构建等实战技能，适合初学者及从业者入门提升。
PythonAI算法
基于 Langchain-Chatchat 快速搭建本地 LLM 智能知识库
综述由AI生成基于 Langchain-Chatchat 开源项目，介绍了一种快速搭建本地 LLM 智能知识库的方案。该项目基于 Langchain 框架与大语言模型，支持开源模型离线私有部署及 OpenAI API 调用。提供 Docker 和本地部署两种方式，包含标准模式和无需显卡的 Lite 模式。适用于中文场景下的检索增强生成 (RAG) 应用，具备清晰的架构设计，方便开发者直接构建或深入学习。
PythonAI算法
基于 Word2Vec 与 RAG 的个人知识库构建指南
基于 Word2Vec 和 RAG 技术构建个人知识库的完整流程。涵盖环境搭建、数据预处理（中文分词、简繁转换）、模型训练、向量生成与相似度计算、向量数据库（Qdrant）部署以及 ChatGLM 大模型集成。通过本地化部署实现私有知识检索问答。
PythonAI算法
构建私有化知识库：融合 ChatGPT 与向量数据库的技术实践
综述由AI生成向量数据库的概念及其在检索和分析中的应用，对比了主流向量数据库产品。详细阐述了 Embedding 技术如何将文本转换为向量以支持语义搜索，并展示了 OpenAI Embedding API 的使用示例。最后结合 Milvus 向量数据库，讲解了利用 GPT 和向量数据库搭建私有化知识库的完整流程，包括数据向量化、索引建立及基于向量相似度的问答生成。
PythonAI算法
基于 LangChain-Chatchat 和 ChatGLM3 搭建私有化知识库实战
外挂知识库（RAG）利用向量数据库检索相关内容辅助大模型回答。介绍基于 LangChain-Chatchat 框架结合 ChatGLM3 开源模型的私有化知识库搭建方案。流程涵盖环境准备、模型下载、配置文件修改及部署运行。测试显示该方案适合本地文档检索整合，在代码生成推理方面存在局限，但数据安全性高，适合企业内部资料管理。
PythonAI算法
LLM 三角原则：简化大型模型应用开发与模型管理
综述由AI生成阐述了构建 LLM 应用的三角原则，涵盖标准操作程序（SOP）、工程集成、模型选择及上下文数据四大核心要素。通过认知建模制定 SOP，利用工作流和 Agents 进行工程集成，权衡模型性能与成本，并结合 RAG 等技术优化上下文，旨在帮助开发者建立健壮可靠的 LLM 本地应用框架，实现从概念验证到生产环境的平稳过渡。
PythonAI算法
人工智能大模型技术白皮书
综述由AI生成人工智能大模型的应用场景、发展历程及技术演进。大模型可赋能传媒、影视、营销等多个行业，被视为未来人工智能的关键基础设施。从 Geoffrey Hinton 提出深度学习方法到 ChatGPT 引发热潮，大模型经历了统计语言模型、神经语言模型、预训练语言模型及语言大模型四个主要阶段。随着参数规模和数据规模的扩展，模型能力不断提升，正逐步进入大模型时代，推动数字世界与现实世界的共生发展。
PythonAI算法
AI 大模型入门教程：从零基础到精通
AI 大模型入门的核心知识与学习路径。涵盖大模型的优势、学习建议及完整的技术栈梳理，包括 Transformer 架构、分布式训练、有监督微调 (LoRA)、强化学习 (RLHF) 以及模型评估与应用。文章旨在帮助初学者建立系统认知，从理论基础到实践操作，逐步掌握大模型开发技能，适合希望进入 AI 领域的技术人员参考。
PythonAI算法
Hugging Face 免费开放四门 AI 课程（支持中文），适合大模型初学者
Hugging Face 提供四门免费 AI 课程，涵盖深度强化学习、自然语言处理、音频处理及开源 AI 指南。课程基于 Hugging Face 生态，部分支持中文，适合大模型初学者及从业者。内容涉及 Transformer 原理、PyTorch 实践、RAG 系统构建等关键技术点，旨在帮助学习者掌握从理论到应用的完整技能链。
PythonAI算法
大模型项目实战经验：数据、模型与业务侧总结
综述由AI生成大模型在垂域场景下的落地涉及数据、模型及业务评估等多个维度。数据方面需解决 ASR/TTS 质量及配比问题，构建高质量语料；模型侧通过 RLHF 等方法优化对齐效果，结合提示词工程与微调策略；业务侧建立多维度的验收标准，利用语义一致性评估替代传统指标。此外，从技术执行转向项目管理也带来了软实力的挑战与成长，强调动机源于欲望与恐惧的双重驱动，需在快速迭代中平衡技术与业务需求。
PythonAI算法
AI Agent 与大模型经典论文推荐
综述由AI生成AI Agent 与大模型经典论文推荐。内容涵盖更有趣的 AI Agent、更有用的 AI Agent、任务规划与分解、幻觉、多模态、图片视频生成、语音合成、大模型基础、GPT、开源大模型、微调及性能优化等板块。收录了包括 CLIP、ViT、LLaVA、Transformer、Diffusion Models 在内的多篇核心论文及其链接，旨在帮助读者深入理解大模型原理，从 Prompt 工程师进阶至专业研究者。
PythonAI算法
大模型落地路线图研究报告（2024 年）
中国信通院发布《大模型落地路线图研究报告（2024 年）》，围绕基础设施、数据资源、算法模型、应用服务、安全可信五个层面，分析大模型落地关键问题。报告提出从现状诊断、能力建设、应用部署、运营管理四个阶段探索适合大模型的最佳落地路线，旨在促进大模型赋能千行百业，打造新质生产力。
PythonAI算法
AI 产品经理学习路线与面试指南
AIGC 产品经理学习路径涵盖行业资讯渠道、研报阅读、知识库搭建及核心技能掌握。重点介绍深度学习、计算机视觉、自然语言处理及大模型算法的基础知识体系。通过文本生成与图片生成两个实战项目指导，结合简历撰写技巧与高频面试题解析，帮助读者系统构建 AI 产品能力并应对求职挑战。
PythonAI算法
AI 产品经理：方法、技术与实战
综述由AI生成梳理了 AI 产品经理的知识体系与职业路径，涵盖 AI 技术原理、产品方法论及行业落地实践。内容涉及机器学习、计算机视觉、自然语言处理等核心技术，以及云原生与 ModelOps 工程化应用。同时解析了算法、中台、业务三类 AI 产品的落地场景，包括自动驾驶、智能汽车、城市治理等领域。旨在帮助读者理解 AI 产品经理的核心职能，掌握技术逻辑与产品规划能力，推动 AI 技术在商业环境中的高效落地与可持续发展。
PythonAI算法
如何成为 AI 产品经理：核心能力模型与实战案例
综述由AI生成AI 产品经理专注于人工智能领域的产品管理岗位，涉及对技术的深度理解及应用。市场需求涵盖基础服务、通用平台及专业应用三大领域。核心能力模型包括行业认知、数据敏感、算法熟悉及算力认知。通过供应链智能车辆调度系统案例，展示了业务场景、数据源、算法技术及输出成果。转行建议包括全局学习、Python 系统学习、机器学习深度学习、竞品分析及实操项目经验等方向。