PythonAI算法
SonicMoE 论文笔记：稀疏混合专家模型硬件感知优化
SonicMoE 提出一种针对稀疏混合专家模型的硬件感知优化方案。针对细粒度 MoE 激活内存占用大、高稀疏性导致计算浪费及 I/O 瓶颈问题，该方案通过重构计算图减少反向传播缓存、利用 GPU 新特性重叠内存 I/O 与计算、以及提出令牌舍入路由算法消除填充浪费。实验表明，在 7B 参数模型上激活内存降低 45%，前向吞吐量提升显著，有效提升了训练效率。
发布于 2026/3/2981 浏览1 点赞
博客作者
樱花落尽
日系少女
加入于 2026/4/7统计更新于 2026/8/27
342
已发布文章
13K
博客获赞
669K
博客浏览
发布的文章
第 9 页
C++算法
C++ 智能指针完全指南：原理、用法与避坑实战
C++ 智能指针核心原理及实战应用。基于 RAII 机制解决异常下的资源泄漏问题。对比 auto_ptr、unique_ptr、shared_ptr 和 weak_ptr 的特性与场景，重点讲解 shared_ptr 引用计数实现及循环引用解决方案。涵盖定制删除器、线程安全注意事项及内存泄漏预防策略，帮助开发者安全高效地管理动态内存。
