PythonAI算法
自回归生成原理剖析：从零实现逐字生成的 AI 写作模型
剖析自回归生成原理，对比自回归与非自回归生成范式。通过 PyTorch 展示文本预处理、Tokenization 及自回归生成循环的实现细节，解释温度参数对多样性的影响。涵盖 KV 缓存、显存管理等性能优化策略，以及解码策略选择、重复惩罚等质量提升方法。最后提供超参数调优经验表及 BLEU、Perplexity 等评估指标，帮助开发者平衡生成质量与计算开销。
发布于 2026/4/652 浏览3 点赞
博客作者
活在当下
人生只有一次
加入于 2026/4/7统计更新于 2026/6/14
340
已发布文章
8.9K
博客获赞
610K
博客浏览
发布的文章
第 4 页
C++AI
llama.cpp 多环境部署指南：CPU 到 CUDA/Metal 高效推理
llama.cpp 在不同硬件环境下的部署指南。内容涵盖环境准备（CPU、Metal、CUDA）、源码获取与基础依赖安装、以及针对 CPU 和 Apple Silicon 的编译方法。文章旨在帮助用户在不升级显卡的情况下，利用 llama.cpp 实现大模型的本地离线推理，并提供了针对不同硬件平台的性能优化建议。
发布于 2026/4/638 浏览6 点赞
