
技术动态
1. DeepSeek 开年炸场,梁文锋又发论文,提出 mHC 新方案
北京时间 1 月 1 日,DeepSeek 公布了一篇新论文,提出名为 mHC(流形约束超连接)的新架构。
据介绍,该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题,同时保持其显著的性能增益。
团队指出,在过去十年中,残差连接(Residual Connection)一直是深度学习架构的基石。而近期出现的「超连接(Hyper-Connections,HC)」技术通过扩大残差流宽度和多样化连接模式,虽然带来了显著的性能提升,但也引入了严重的副作用——它破坏了对模型训练至关重要的「恒等映射属性」。
这不仅导致训练过程极不稳定,限制了模型的扩展能力,还带来了额外的显存访问开销。
实验数据显示,进行重构后的 mHC 在大规模训练场景下效果显著,不仅带来了实质性的性能提升,更展现出优越的可扩展性。
DeepSeek 团队认为,mHC 作为一种灵活且实用的架构扩展,将加深行业对拓扑架构设计的理解,并为基础模型的未来演进指明了新方向。
值得关注的是,该篇论文第一作者分别为 Zhenda Xie(解振达)、Yixuan Wei(韦毅轩)、Huanqi Cao。同时,DeepSeek 创始人及 CEO 梁文锋也在作者名单中。
(@APPSO、@智东西)
2. Google「NotebookLM」测试原生「讲座」模式:支持 30 分钟单人叙事与多语言切换
Google 正在测试「NotebookLM」的全新音频生成模式「Lecture」,将原有的播客式双人对话转变为单人结构化叙事。该更新旨在将上传的文档转化为长达 30 分钟的深度讲座,并新增了语言选择器与特定口音选项。
- 交互架构从「对话」转向「单人叙事」:不同于现有的双人 AI 主持人播客风格,「Lecture」模式由单一 AI 主持人进行系统化讲解,侧重于跨源信息的逻辑链接与详细解释。
- 支持 30 分钟长格式音频生成:在选择「Long」长度选项时,模型可生成约 30 分钟的连续音频会话,显著提升了针对长文档、复杂研究论文或会议记录的覆盖深度。
- 新增原生语言选择器:用户可在生成前指定音频的输出语言,不再受限于源文档语言,进一步增强了多语言环境下的研究复用性。
- 语音库扩展与口音定制:系统计划引入更多旁白选项,包括已确定的英式英语口音,预计将提升音频的听感多样性与专业化场景匹配度。
- 功能矩阵整合:该模式将作为「Audio Overview」下的并列选项,与现有的「Deep Dive」(深度解析)、「Brief」(简报)、「Critique」(评论)及「Debate」(辩论)共同构成多维度的内容转化工具集。
当前处于内部测试阶段,尚未对公众开放;英式英语旁白及部分新特性预计在 2026 年内逐步上线。
(@Business Standard)
3. 元象开源 XVERSE-Ent 泛娱乐大模型:基于 MoE 热启动技术,支持单卡部署与 8K 上下文
「元象」正式开源专注于泛娱乐领域的「XVERSE-Ent」中英双语模型。该模型通过 MoE 热启动与多阶段训练策略,在保持通用能力 98% 以上保留率的同时,强化了角色一致性与长剧情逻辑,旨在解决社交互动与游戏叙事中的「出戏」与「遗忘」问题。
- MoE 热启动与 FFN 细粒度拆分:模型通过将原有 Dense 模型的 FFN 部分进行细粒度拆分(而非简单的粗粒度复制)转化为多专家子网络,复用 Attention 部分,实现从 Dense 到 MoE 架构的高效迁移。
- 双版本参数配置:
- 中文版(A4.2B):激活参数 4.2B,总参数量 25B,基于通用底座 XVERSE-MoE-A4.2B 增强。
- 英文版(A5.7B):激活参数 5.7B,总参数量 36B,针对英文创意写作与全球化语境优化。
- 三阶段训练策略(S0-S2):采用 S0(能力重建)、S1(语言倾斜)、S2(领域增强)的递进式训练,在 S2 阶段引入通用与领域数据混合训练,确保专业能力不以牺牲通用逻辑为代价。

