
DeepSeek-V3 训练技术详解:架构、工程与后训练
DeepSeek-V3 以约 550 万美金成本实现媲美 Claude 3.5 的性能,核心创新在于 Multi-head Latent Attention 降低显存占用、DeepSeekMoE 稀疏架构及无损耗负载均衡。工程上通过 DualPipe 流水线并行、FP8 混合精度训练及通信优化提升效率。预训练采用 14.8 万亿 Token 数据并支持 12…
博客作者
云上系统运维
383
已发布文章
13K
博客获赞
1M
博客浏览
第 19 页

DeepSeek-V3 以约 550 万美金成本实现媲美 Claude 3.5 的性能,核心创新在于 Multi-head Latent Attention 降低显存占用、DeepSeekMoE 稀疏架构及无损耗负载均衡。工程上通过 DualPipe 流水线并行、FP8 混合精度训练及通信优化提升效率。预训练采用 14.8 万亿 Token 数据并支持 12…

WordPress Gutenberg、Page Spy、MLOps Zoomcamp、Crab 语言及 MoviePilot 等开源工具的核心功能与应用场景,并详细规划了从系统设计、提示词工程到微调开发的 AI 大模型学习路径。内容涵盖 Web 构建、远程调试、机器学习运维及新兴语言特性,旨在为开发者提供实用的技术参考与成长指南。

盘点六款主流 AI 绘画工具,包含聪明灵犀、改图鸭、AI 创作家、文心一格、6pen Art 及 Vega AI。覆盖 PC、网页及移动端场景,支持文生图与图生图功能。文章对比了各平台的风格模型、操作便捷性及免费额度,提供选择建议,帮助用户快速找到适合的 AI 创作方案。重点介绍了各工具的核心功能、操作流程及适用人群,并总结了提示词优化技巧与版权注意事项。

使用 Python 标准库 socket 模块实现简易聊天室的完整过程。内容涵盖 Socket 通信基本原理、TCP 服务器与客户端的单连接代码实现、基于多线程的多人聊天室广播功能、以及异常处理与线程安全等关键优化点。文章提供了完整的服务端与客户端代码示例,并对常见网络编程问题如编码、连接稳定性及安全性进行了分析,适合希望学习 Python 网络编程的开发者…

Python 入门的基础流程,包括 Python 3 解释器的安装配置、PyCharm 开发环境的搭建方法,以及如何编写并运行 Hello World 程序。内容涵盖了环境验证、常见安装问题排查及代码规范注意事项,旨在帮助初学者快速建立本地开发环境并理解程序执行的基本原理。

使用 Python 进行淘宝商品数据爬取与分析的完整流程。通过调用第三方接口获取商品列表,解析 JSON 数据,进而统计不同价格区间的销量分布、商家地域分布及热门店铺信息。内容涵盖请求构建、响应处理及基础数据分析逻辑,旨在帮助开发者掌握电商数据采集与清洗的基本方法。

介绍使用 Python 进行自动化办公的技术方案,涵盖文件与文件夹管理(shutil、os、glob)、Word 文档读写(python-docx)、Excel 数据处理(xlrd、xlsxwriter)、PPT 演示文稿操作(python-pptx)以及邮件发送(smtplib、schedule)。内容包括代码示例、样式设置、图表生成及常见问题排查,旨在帮…

AI 大模型发展的十大趋势,涵盖中国基础模型收敛、算力门槛提升、人才认知密度重要性、开源闭源博弈、AGI 信仰、应用月活门槛、端侧模型竞争、核心价值维度、一人企业兴起及技术变现路线之争。文章指出算力与能源是未来瓶颈,强调顶尖人才密度而非规模,并预测端侧模型将重塑交互入口。同时梳理了行业薪资现状与技能需求,建议从业者关注全栈工程与垂直微调能力,以适应技术变革带…

详细分析了网络安全漏洞挖掘的收入水平、自学所需时长及核心技能要求。文章指出漏洞奖励根据等级从几百到十万元不等,自学需掌握编程、网络协议及渗透工具。内容涵盖信息搜集、业务逻辑分析、常用工具使用及法律合规建议,强调基础学习与持续实践的重要性,旨在为初学者提供系统的学习路径与职业指导。

基于 MaxKB、Ollama 与 Llama3 技术栈,本指南详细阐述了从零搭建本地私有化 AI 知识库的全过程。内容包括环境准备、Ollama 服务部署、Llama3 模型运行验证、MaxKB 容器化安装及配置、知识库创建与切片策略、以及智能助手应用发布。通过本地化部署方案,用户可实现数据隐私保护与低成本 AI 问答系统构建,并涵盖常见故障排查与安全加固…

文章分析了大模型行业未来发展的十大关键判断,涵盖基础模型数量收敛、算力需求激增、顶尖人才驱动、开源与闭源博弈、AGI 信仰、应用月活门槛、端侧模型竞争、落地核心价值、一人企业兴起以及技术派与变现派的路线之争。指出算力与人才是核心瓶颈,行业将走向集中化,端侧模型将重塑交互入口,长期主义与技术信仰仍是主流趋势。

企业落地大模型知识库需解决算力不足、数据隐私及场景适配问题。推荐采用检索增强生成(RAG)架构,通过算力调度、数据分片、多级检索及提示词工程等关键技术,实现低成本、高合规的知识问答。文章详细阐述了从数据清洗、索引构建到推理调用的全流程,并提出了'先 RAG 后微调'的演进路径,帮助企业在保障数据安全的前提下快速验证大模型价值。

Canal 基于 MySQL Binlog 实现数据同步的原理与实践。Canal 模拟 MySQL Slave 协议解析 Binlog 日志,适用于数据库镜像、缓存刷新等场景。文章对比了 mysql-binlog-connector 与 Canal 的选型差异,详细说明了 MySQL 环境配置、Canal 组件部署及 instance.properties…
KiCad 符号编辑器中引脚的创建与同步逻辑涉及状态管理、标志位设置及多单元数据一致性维护。核心流程包括工具初始化、新建引脚时的属性配置(如位置、方向、类型)以及修改时的跨单元同步机制。代码通过 IS_NEW 和 IS_LINKED 标志区分引脚生命周期,利用撤销列表保障操作可逆,并通过遍历引脚列表比对属性来实现多单元间的联动更新,确保符号在不同单元下表现统…

微信小程序 SSM 校园顺路代送系统采用前后分离架构,前端基于 Vue.js 与 JavaScript 开发,后端采用 Java SSM 框架配合 MySQL 数据库。系统支持用户与发布者双角色管理,实现代送任务发布、接取、取消及反馈流程。技术环境涵盖 JDK1.8、Tomcat9 及微信开发者工具,满足高校场景下跑腿服务的管理需求。
演示了 PHP 环境下通过 DOMDocument 生成 XML 数据以及利用 XMLReader 解析远程 XML 接口的完整流程。重点涵盖了数据库连接、节点创建、文本节点遍历及内存优化处理,适用于需要兼容旧系统或特定协议的数据交换场景。
本题要求在字符串 t 中识别出比 s 多出的一个字符。t 由 s 重排并追加一个字符构成。解决方案采用计数数组记录字符频次,遍历 s 累加,遍历 t 递减,首次出现负数的字符即为结果。该算法时间复杂度为 O(n),空间占用固定为 26 个整数,适合处理大规模文本校验。
JavaScript XHR 进度事件用于监控客户端与服务器端的通信状态,包含 loadstart、progress、error、abort、load 及 loadend 六个核心事件。load 事件在响应接收完成后触发,简化了状态检查流程;progress 事件在数据传输期间反复触发,提供字节数信息以构建进度条。开发者需在调用 open() 前绑定处理程序…

Java 反射机制允许在运行时动态获取类的信息和调用对象方法。核心在于 Class 实例的获取,常用方式包括 getClass、类名.class 和 Class.forName。通过 Constructor、Field 和 Method 类,开发者可以动态创建对象、访问私有属性及调用方法。虽然反射提供了强大的灵活性,但也存在性能开销和安全隐患,需合理使用。

卷积神经网络感受野指特征图像素点对应输入图像的区域大小。通过公式推导与 VGG16 实例,详解了感受野的递推计算方法及 Feature Map 概念,帮助理解网络层级对信息感知范围的影响。