DeepSeek-R1-Distill-Llama-8B 参数详解:LoRA 微调、上下文扩展与 KV Cache 优化
DeepSeek-R1-Distill-Llama-8B 模型通过知识蒸馏将 R1 推理能力迁移至 8B 参数量级。LoRA 微调仅需调整最后 4 层即可适配业务,显存占用低。上下文长度可通过 NTK-aware 策略从 4K 扩展至 128K,保持理解稳定性。KV Cache 优化结合 FlashInfer 与 StreamingLLM 可提升生成吞吐。配合 Ollama 部署便于本地快速运行,实测在数学与代码任务上表现优于同类竞品,…















