
GLM-4-9B 开源模型微调 Loss 计算逻辑解析
GLM-4-9B 开源模型微调过程中,Loss 计算逻辑直接影响模型收敛效果。深入解析了基于对话格式的微调数据构建方法,重点阐述了在 process_batch 函数中如何通过角色掩码区分系统提示、用户输入与助手回复的权重。通过设置特定角色的 loss_mask 为 False 并将对应标签设为 -100,确保模型仅对助手生成的内容进行预测训练。同时对比了与…
博客作者
魔界至尊
367
已发布文章
12K
博客获赞
710K
博客浏览
第 18 页

GLM-4-9B 开源模型微调过程中,Loss 计算逻辑直接影响模型收敛效果。深入解析了基于对话格式的微调数据构建方法,重点阐述了在 process_batch 函数中如何通过角色掩码区分系统提示、用户输入与助手回复的权重。通过设置特定角色的 loss_mask 为 False 并将对应标签设为 -100,确保模型仅对助手生成的内容进行预测训练。同时对比了与…

Langchain-Chatchat 是基于 Langchain 和开源大语言模型构建的本地知识库问答项目,支持 RAG 检索增强生成技术。项目提供 Docker 一键部署和本地源码部署两种方式,支持多种开源模型如 ChatGLM、LLaMA 等,并可离线运行保障数据安全。内容涵盖环境配置、模型下载、数据库初始化及 Lite 模式使用说明,同时包含高级配置与…

一款基于 Python 和 FastAPI 框架开发的开源项目,支持通过主题或关键词自动生成视频文案、素材、字幕及背景音乐,合成高清短视频。项目采用 MVC 架构,提供 API 和 Web 界面,支持多种视频尺寸、批量生成及多模型接入(如 OpenAI、通义千问等)。部署推荐使用 Docker 方式,操作简便。该工具适合需要快速生产短视频内容的场景。

神经网络是模仿人脑神经系统结构的计算模型,具备强大的学习能力、广泛的通用性和端到端学习的高效性。文章详细解析了神经网络的技术原理,包括神经元工作机制、层次结构、权重调整及激活函数的作用,并阐述了其与深度学习的关系。在应用场景方面,涵盖了金融智能风控、医疗辅助诊断及电商个性化推荐等领域,并以神经网络翻译技术为例说明了实际落地效果。最后探讨了当前面临的局限性及未…

详细解析了适合普通人的六个自媒体变现赛道,包括写作、手工、摄影、读书、养生及短视频带货。文章针对每个赛道提供了具体的起盘路径、运营工具、内容策略及变现模式分析。写作赛道强调垂直领域选择与多平台分发;手工与摄影侧重技能展示与社群互动;读书博主利用 PPT 与思维导图进行知识萃取;养生达人需注意合规性与经验分享;短视频带货则遵循流量钩子加产品信息的视频公式。整体…

详细阐述了数据分析行业的职业发展路径,涵盖初级、中级及高级分析师的工作职责与所需技能。内容分析了从业务支持到技术建模的进阶过程,以及向管理岗或技术专家方向发展的可能性。同时提供了关于学习基础(统计学、数学)的重要性建议,并补充了 Python、SQL、ETL 及机器学习等核心技术领域的知识框架,旨在帮助零基础人员建立清晰的学习规划与职业认知。

Python 函数是封装可复用代码块的机制,通过 def 关键字定义。函数参数传递(位置、关键字、默认值、可变参数)、返回值处理、变量作用域(局部与全局)、匿名函数 lambda 及文档字符串 docstring。涵盖常见陷阱如可变默认参数问题,并介绍装饰器与生成器基础概念,帮助开发者构建模块化、易维护的代码结构。

详细阐述了 AI 产品经理转型为大模型产品经理所需具备的素质与技能,包括对 AI 技术的理解、数据分析能力、用户洞察力及产品规划能力。文章提供了自我评估的五维标准,帮助从业者判断自身适配度。在学习路径方面,涵盖了大模型原理、应用场景、优缺点分析及实践工具的使用建议,推荐了经典论文与开源平台。此外,还探讨了如何寻找和创造大模型应用场景,以及与技术团队和业务团队…

瑞士苏黎世联邦理工学院(ETH Zurich)研究者提出简化标准 Transformer 块的方法,在不影响收敛特性和下游任务性能的前提下,移除了残差连接、归一化层(LayerNorm)、投影和值参数以及 MLP 序列化子块。基于信号传播理论和经验证据,该简化方案在减少 16% 参数的同时,将训练和推理吞吐量提升了 16%。实验涵盖 GPT 类解码器及 BE…

探讨了 2023 年科技界热度最高的 AI 大模型技术。首先定义了大模型及其在语言、视觉、多模态和科学领域的应用分类。接着详细列举了大模型在自动写作、图片生成、音频合成、视频生成、代码编写、教育培训及客服等领域的具体应用场景。文章还分析了国产大模型的发展现状,对比了其与国外领先模型的差距及优势,指出国内在应用场景和数据积累上的独特性。最后重点讨论了 AI 大…

详细阐述了网络安全从业者的成长路径,强调坚持与伦理的重要性。内容涵盖基础理论如体系结构、操作系统、网络协议及编程语言,分析了自学难点与导师指导的关键作用。文章深入解析了 Windows、无线、移动、系统、网络、Web 及 DDoS 等领域的核心技术点,包括缓冲区溢出、SQL 注入、XSS 等漏洞原理。同时提供了实践建议,如搭建靶场、参与 CTF 和 SRC…

探讨了工作五年后转行网络安全的可行性与必要性。文章分析了新基建背景下网络安全的重要性,指出合规性要求和人才缺口带来的市场机遇。内容涵盖了网络安全所需的核心技能体系,包括网络基础、操作系统、编程语言及Web安全专项技术。提供了从基础学习到实战演练的系统化学习路径,并介绍了相关的职业角色与行业认证。强调从业者需具备持续学习能力并严格遵守法律法规与职业道德,旨在为…

AIGC 浪潮下,AI 产品经理及算法工程师成为春招热门。数据显示 AIGC 新发职位同比激增,产品经理投递人次增长近 10 倍。薪资方面,AI 运营、工程师及算法岗位平均薪资显著高于传统岗位。入行需掌握提示词工程、模型微调、LangChain 开发等核心技术。尽管市场需求大,但非研发岗位数量有限,建议求职者理性评估自身学习能力与技术敏感度,避免盲目跟风。

LLaMA 作为开源大语言模型的代表,其架构设计对理解 LLM 发展至关重要。深入剖析了 LLaMA 的 Decoder-only 结构,重点讲解了 RMSNorm、SwiGLU、RoPE 及 GQA 等核心改进点及其原理,帮助读者掌握大模型底层技术细节。

ABP vNext 框架提供应用层到 WebApi 的自动映射功能,减少重复代码。通过集成 Swagger 可快速实现 API 浏览与测试。配置过程涉及添加 Swashbuckle.AspNetCore 引用,在模块中启用 Swagger 服务及 UI,并设置 ConventionalControllers。示例演示了 PoemApp API 的初始化及端点…

DB2 V9 数据库管理涵盖数据放置、自动存储及模式应用。内容包含数据库创建流程、系统目录结构、默认表空间说明,以及自动存储路径的配置方法。同时解析了模式(Schema)的定义、系统预置模式及使用方式,并提供查看表空间状态的命令示例,适合数据库管理员构建基础架构时参考。
模仿学习通过观测专家行为来训练智能体,有效解决奖励函数设计困难的问题。阐述其核心原理,涵盖行为克隆等主流方法,并提供基于深度神经网络的代码实现示例,帮助开发者快速掌握从理论到落地的完整流程。
Golang 中 unsafe.Pointer 是通用指针类型,类似 C++ 的 void*,用于类型转换;uintptr 则是可存储地址的整数,支持加减运算。两者结合可实现内存地址偏移,常用于底层优化或特殊场景。示例展示了如何通过 unsafe 包修改结构体私有字段,需注意内存布局依赖编译器和架构,存在安全风险,生产环境慎用。

利用 Selenium 自动化测试工具破解煎蛋网反爬策略,通过模拟浏览器行为获取动态加载的图片资源。分析网站加载机制,解决常规请求无法获取内容的问题,重点展示 WebDriver 配置及元素定位技巧,适合希望深入理解 Web 反爬对抗的开发者参考。

Umi 是蚂蚁金服开源的企业级前端应用框架。演示如何通过命令行和图形界面两种方式快速初始化项目。涵盖环境配置、依赖安装、项目结构选择及页面生成命令。适合希望快速搭建 React 项目的开发者参考。