跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI 生图工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
编程语言AI算法

xLSTM:扩展长短期记忆模型解析

xLSTM 是一种基于现代大语言模型技术扩展的长短期记忆网络。该研究通过引入指数门控和修改后的存储结构(sLSTM 与 mLSTM),解决了传统 LSTM 在并行化和规模扩展上的局限性。实验表明,xLSTM 在语言建模性能及扩展性上优于现有的 Transformer 和状态空间模型。

蓝绿部署发布于 2024/8/24更新于 2026/10/1886 浏览
xLSTM:扩展长短期记忆模型解析

xLSTM:扩展长短期记忆

摘要

在 20 世纪 90 年代,恒定误差转盘和门控被引入作为长短期记忆(LSTM)的核心思想。从那时起,LSTM 经受住了时间的考验,并为众多深度学习成功案例做出了贡献,特别是它们构成了第一个大型语言模型(LLMs)。然而,以并行化自我关注为核心的 Transformer 技术的出现标志着一个新时代的到来,在规模上超过了 LSTM。我们不禁要问:若结合现代 LLM 的最新技术,将 LSTM 扩展至数十亿参数并克服其固有局限,语言建模能力能提升多少?

首先,我们引入了具备归一化与稳定机制的指数门控。其次,重构了 LSTM 存储结构,衍生出两种变体:一是包含标量存储、标量更新及新存储混合的 sLSTM;二是采用矩阵存储与协方差更新规则、支持完全并行的 mLSTM。将这些 LSTM 扩展集成到残差块主干中会产生 xLSTM 块,然后将其残差堆叠到 xLSTM 架构中。与最先进的 Transformer 和状态空间模型相比,指数门控和修改后的存储结构提高了 xLSTM 的性能,在性能和扩展方面都表现良好。

1 引言

目录

  1. xLSTM:扩展长短期记忆
  2. 摘要
  3. 1 引言

更多推荐文章

查看全部
  • Python+AI 学习路线完整指南
  • OpenClaw 安装与飞书机器人配置全流程指南
  • 使用 Angular 构建 Java 桌面应用
  • Vivado 连接 JTAG 进行 FPGA 烧录实战指南
  • Stable Diffusion 3.5 FP8 文生图技术解析与应用
  • 基于 Dify、大模型与智能体构建私有化智能助手指南
  • AI 生成代码冗余?4 个优化技巧打造工业级代码
  • Python 数据容器详解:列表、元组、字符串、集合与字典
  • llama.cpp Docker 部署:容器化推理服务搭建
  • llama.cpp Docker 镜像国内加速下载地址
  • 人形全身 VLA 模型Ψ0:基于人类视频预训练与 MM-DiT 后训练方案
  • 10 款主流 AI 写作辅助工具功能测评与对比
  • 双指针专题:快乐数与盛水最多的容器
  • Chambolle-Pock 算法在医学影像重建中的应用
  • 基于 OpenCASCADE 的分层截面几何体重建与 STL 导出
  • Openclaw 连接本地 Ollama 及 Qwen WebUI 无响应排查
  • HarmonyOS Next 之旅:DevEco Studio 工程创建与模板指南
  • SpringBoot 4.0 新特性整合项目实战应用详解
  • Photoshop 集成 ComfyUI AI 绘画功能指南
  • Linux 系统安装、卸载与更新 Node.js 及 Git 指南

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online