
为什么现在的 LLM 都是 Decoder only 的架构?
综述由AI生成Decoder-only 架构之所以成为现代大语言模型的主流,是因为其相比传统的 Encoder-Decoder 架构具有更强的灵活性和通用性。Encoder-Decoder 擅长处理输入输出精确映射的任务如翻译,但训练成本高且难以复用。Decoder-only 基于自回归的下一个词预测目标,支持单一模型处理聊天、创作、问答等多种任务,简化了预训练和微调流程,且更易于扩展至超大参数量。尽管存在幻觉和长依赖挑战,但随着算力提升、RoPE…



















