博客作者
后端技术专家
382
已发布文章
14K
博客获赞
857K
博客浏览
第 18 页
文章分析了当前大模型赛道面临的商业化困境与高昂成本。摩根士丹利与高盛报告指出 AI 变现不及预期，OpenAI 等巨头虽融资巨大但仍亏损。国内大厂如百度、阿里、腾讯在财报中显示投入趋于谨慎，从盲目追求基础模型转向应用落地与场景赋能。技术路线上，OpenAI o1 引入自博弈强化学习打破传统 Scaling Law 共识，国产模型面临追赶压力。结论认为单纯烧钱…
详细解析了 LoRA（Low-Rank Adaptation）在大模型微调中的应用。涵盖低秩分解原理、参数初始化策略、Rank 与 Alpha 的选取方法、训练加速机制及内存优化技巧。通过对比全量微调与高效微调的差异，提供了基于 HuggingFace PEFT 库的代码示例，并探讨了 DoRA 等改进变体。内容旨在帮助开发者理解 LoRA 的核心机制，解决…
LightRAG 是一种改进的检索增强生成系统，通过结合图结构和文本索引解决传统 RAG 系统依赖扁平数据表示及缺乏上下文感知的问题。该系统利用双层检索机制（低级检索关注实体细节，高级检索关注主题概念）与向量表示相结合，提升信息检索能力和响应速度。实验表明，LightRAG 在农业、计算机、法律等多个领域的 UltraDomain 基准测试中，全面性和多样性…
探讨了多模态大型语言模型（MLLM）的核心概念、架构设计及训练策略。文章详细分析了视觉编码器与语言模型的连接方式，介绍了参数高效微调（PEFT）、LoRA 等关键技术，并对比了 Flamingo、LLaVA 等代表性模型。此外，还阐述了多模态对齐、指令遵循及特定领域应用，为理解 LLM 向多模态演进提供了全面的技术视角。
快手推出文生视频大模型「可灵」，支持生成 2 分钟 1080P 视频。该模型采用 Diffusion Transformer 架构和 3D VAE 网络，在物理规律模拟和时空一致性上表现优异，被部分用户认为优于 Sora。可灵开放测试后迅速满员，引发硅谷创投圈关注。其发布标志着国产文生视频模型在技术落地层面达到新高度，可能改变游戏开发和影视制作流程。技术层面…
RAG 技术通过检索增强生成解决大模型幻觉与知识时效性问题，但在实际对接中面临源数据质量、权重分配、重排序上下文缺失、输出格式控制等九大挑战。深入剖析了从数据清洗、Chunk 大小调整、重排序策略到并行化扩展的具体问题，并提供了基于 LlamaIndex 的代码示例与优化方案，旨在帮助开发者构建更稳定、高效的 RAG 系统。
RAG 系统的检索效果高度依赖查询优化（QO）技术。除了基础的 Query 改写外，完整的 QO 体系包含查询扩展、问题分解、查询消歧和查询抽象四大核心方向。深入剖析了各类技术的适用场景、工作原理及代表性方案，包括内部与外部扩展的区别、多跳问题的分解逻辑、歧义消除方法以及意图抽象策略，并结合实际工程落地建议，旨在帮助开发者构建更精准的大模型检索增强生成系统。
国内近 200 个 AI 大模型的发展现状，探讨了开源与闭源、参数量大小及榜单排名的实际意义。文章指出，开源模型在成本和灵活性上具有优势，但闭源模型在服务集成上更便捷；参数量并非唯一指标，架构创新与数据质量同样关键；榜单排名仅供参考，实际业务体验更为重要。未来竞争将聚焦于垂直领域深耕、端侧部署能力及数据合规安全，建议企业结合自身场景与技术能力进行评估。
基于 MIT 论文《LORA VS FULL FINE-TUNING: AN ILLUSION OF EQUIVALENCE》，利用奇异值分解（SVD）深入对比了 LoRA 与完全微调在权重矩阵结构及泛化行为上的本质差异。研究发现 LoRA 会在权重矩阵中引入'侵入维度'，导致模型在适应新任务时遗忘更多预训练知识，且在持续学习中表现较差。相比之下，完全微调在…
文章基于中国人工智能协会发布的白皮书，系统解读了大模型技术的发展历程、核心技术、应用场景及安全挑战。内容涵盖从统计语言模型到大模型的演进，Transformer 架构原理，预训练与微调范式，多模态技术体系，以及开源生态与部署优化。重点分析了幻觉、偏见等安全风险及对应的治理措施，并展望了自主可控与垂直深化的未来方向，为读者提供了全面的技术入门参考。
大模型的基本定义，对比了大小模型的区别，阐述了语言、视觉及多模态大模型的分类。重点解析了基于 Transformer 架构的大语言模型原理，包括注意力机制与位置编码。同时列举了知识库问答、BI 系统及智能体等典型应用场景，并分析了通用、行业及垂直大模型的不同层级定位。文章还补充了预训练、微调及 RLHF 等训练流程，探讨了当前面临的幻觉、成本及安全挑战，为读…
大模型技术作为人工智能的核心分支，基于深度学习模拟人类认知。内容涵盖神经网络基础架构、预训练与微调策略、检索增强生成（RAG）解决知识时效性问题，以及智能体（Agent）实现复杂任务自动化。通过梳理理论、技术与应用实践，帮助理解从模型构建到落地的完整链路，包括提示词工程、向量检索及多模态处理等关键模块。
详细梳理了大语言模型（LLM）的完整学习路径，涵盖基础理论、前沿算法与工程化实践三大板块。基础部分包括数学、Python 及神经网络知识；算法部分深入解析 Transformer 架构、指令微调、RLHF 及量化技术；工程化部分则聚焦于 RAG 构建、推理优化及模型部署。内容旨在帮助开发者系统掌握 LLM 核心技术，从理论到落地实现全方位提升。
综述了人工智能大模型产业的发展现状与应用前景。文章详细梳理了从系统设计、提示词工程、平台集成、知识库构建、垂直微调、多模态应用到行业综合构建的七大学习阶段，并结合电商、物流、医疗及新媒体等领域分析了典型应用场景。内容涵盖 Transformer 架构、LangChain 框架、RAG 技术及 Fine-tuning 等核心技术点，旨在为开发者提供系统化的技术…
AI 大模型作为人工智能领域的核心研究对象，凭借庞大的参数规模与卓越的学习能力，在自然语言处理、计算机视觉等多个领域展现出巨大潜力。系统梳理了 AI 大模型的发展历程、技术原理及核心技术架构，深入剖析了 Transformer 架构、自注意力机制等理论基础，并介绍了分布式训练、模型压缩等关键技术方法。同时，详细探讨了其在医疗、金融、自动驾驶等场景的应用案例，…
梳理了程序员兼职接单的主要渠道，包括职位众包、项目整包和驻场开发三种形式，并列举了猿急送、开源众包、人人开发、程序员客栈等多个垂直 IT 众包平台。文章还分析了技术论坛和人脉资源的利用方式，重点补充了接单过程中的风险防控措施，如合同签署、分期收款、需求确认及代码安全等建议，旨在帮助开发者安全高效地获取副业机会。
HTTP 协议是应用层协议，基于 TCP 实现，负责传输超文本及其他数据。HTTP 报文由起始行、首部行、空白行和实体组成，分为请求和响应两种格式。详细解析了报文结构，并使用 Python Socket 编程实现了基础的 HTTP 服务器，展示了 bind、listen、accept、recv 和 sendall 等关键 API 的使用。同时对比了标准库 h…
详细阐述了 AI 大模型的学习路径与技术体系。内容涵盖数学基础、Python 编程、深度学习原理，深入解析了 Transformer 架构、自注意力机制及位置编码。介绍了预训练、微调（含 LoRA 等 PEFT 技术）及 RAG 检索增强生成等核心工程方法。提供了实战项目指导，包括提示词工程、智能问答系统构建及代码示例。此外还列举了经典书籍、课程资源及职业发…
大型语言模型基于词向量表示单词，利用上下文区分词义。其核心架构为 Transformer，包含数十层网络，通过注意力机制检索信息，前馈网络进行模式匹配与预测。训练过程无需人工标记，依靠预测下一个单词调整权重参数，涉及反向传播与大规模并行计算。模型规模越大，能力越强，但也面临计算成本和能耗挑战。
智源研究院开源中英双语 AltDiffusion 模型，基于 AltCLIP 技术解决中文创作者在 AIGC 领域的痛点。该模型支持精细长中文 Prompt 创作，原生理解中国风文化，避免文化误解，并实现中英双语生成效果高度对齐。文章详细阐述了其技术架构、生态兼容性（WebUI、DreamBooth）、部署指南及微调方法，展示了在 Flickr-30K 等数…
