从零实现 LLaMA 架构:构建轻量级大语言模型
从零开始拆解 LLaMA 大语言模型的核心设计,通过 Python 和 PyTorch 实现了一个轻量级的 LLaMA-like 模型。内容涵盖 RMSNorm 替代 LayerNorm、SwiGLU 激活函数、旋转位置编码(RoPE)、Pre-Norm 架构等关键优化点。文章详细解析了配置模块、基础层、注意力模块及 Transformer 块的代码实现,并…
博客作者
DevOps工程师
334
已发布文章
9.9K
博客获赞
883K
博客浏览
第 4 页
从零开始拆解 LLaMA 大语言模型的核心设计,通过 Python 和 PyTorch 实现了一个轻量级的 LLaMA-like 模型。内容涵盖 RMSNorm 替代 LayerNorm、SwiGLU 激活函数、旋转位置编码(RoPE)、Pre-Norm 架构等关键优化点。文章详细解析了配置模块、基础层、注意力模块及 Transformer 块的代码实现,并…

介绍大语言模型基础及提示工程核心逻辑。涵盖 ChatGPT 原理、术语、提示结构(角色、任务、背景、输出)、构建策略、类别及进阶框架。提供减少空洞感、提高可读性技巧及高效原则,帮助读者通过清晰定义目标、提供上下文和迭代优化,实现与大模型的精准高效交互。

介绍飞算 JavaAI 插件的安装与使用。通过 IDEA 安装插件后,可利用智能引导功能完成需求分析、接口设计、表结构设计及源码生成。示例展示了基于自然语言指令生成拼图游戏项目的过程,涵盖启动初始化、图形界面展示及图片处理逻辑。此外,工具还提供 SQL Chat、工具箱及智能对话等功能辅助开发。该工具专注于 Java 开发全流程,支持文本或语音输入需求,能自…

介绍基于低代码平台构建人事管理系统的解决方案。针对传统人事管理效率低、数据分散等问题,提供涵盖招聘、员工档案、合同、薪酬及数据分析的全流程数字化方案。系统支持灵活配置、权限管控及多端访问,旨在降低开发成本,提升管理效率与数据准确性,助力企业人力资源数字化转型。
QoderWork 是阿里推出的一款桌面级通用智能体助手,定位为本地运行、自主规划、安全可控的 AI 工作搭子。相比传统聊天机器人,它能理解目标并独立执行任务,无需用户分步指挥。文章测试了其核心能力:支持 MCP 协议连接外部工具,可自定义 Skills。实测案例包括自动生成 22 页 PPT、分析微博写作风格并生成祝福语、制作带动画的视频以及开发春节亲戚称…
利用 AI 技术对 B 站视频进行智能总结的方法。通过自动解析视频元数据与语音信息,系统能生成带时间戳的结构化摘要,帮助用户快速掌握视频核心知识点。文章涵盖了功能原理、操作步骤、批量处理技巧及性能表现分析,适用于教育学习与内容创作场景,旨在提升信息获取效率并构建个人知识体系。

Edict 是一个基于中国古代三省六部制设计的 AI 多 Agent 协作架构。它通过分权制衡机制(太子分拣、中书规划、门下审议、尚书调度、六部执行)实现任务的可控、可复现与可审计。项目提供军机处 Web 看板,支持任务状态监控、模型切换及技能管理。核心优势在于制度化协作而非自由对话,适合企业级高质量输出场景。支持 Docker 快速部署或基于 OpenCl…
通过彻底清洁安装 VSCode 来解决 GitHub Copilot 登录卡顿问题的方法。主要步骤包括:完全卸载 VSCode 并删除残留配置文件;重新安装后使用带启动参数的快捷方式以干净模式启动,指定新的用户数据目录;在此模式下安装 Copilot 插件并测试登录;若成功则迁移回正常模式使用。若仍失败,需检查网络策略或尝试便携版模式以排除系统干扰。

FPGA 面试中的高频经典问题,涵盖 Verilog 基础语法、时序设计(建立/保持时间、亚稳态、CDC)、复位规范、接口协议(UART/SPI)及调试经验。内容包含参考答案与工程视角解析,旨在帮助求职者系统复习硬件行为理解,查漏补缺,提升面试通过率。

阐述了人工智能、机器学习与深度学习的层级关系及核心区别。人工智能是宏观目标,机器学习是其实现路径,深度学习则是基于神经网络的子集。文章对比了传统规则驱动编程与模型驱动机器学习的差异,指出后者通过数据训练而非显式编码解决问题。此外,梳理了 AI 发展的三次浪潮及爆发背后的数据、算法、算力三大基础,并解释了样本、特征、标签等关键术语。理解这些概念有助于把握技术本…
介绍如何使用 Neeshck-Z-lmage_LYX_v2 在本地搭建 AI 绘画工具。主要步骤包括环境准备(安装 Python、Git 及依赖库)、模型获取与放置(下载 Z-Image 底座及可选 LoRA 文件)、以及启动使用(通过 Streamlit 运行并在浏览器操作)。该工具轻量易用,支持本地生成,保护隐私。

机器人轨迹规划的基本概念,区分了轨迹规划与任务规划、路径规划的不同。阐述了关节空间与笛卡尔空间两种规划空间的优缺点及适用场景。详细讲解了多项式插值、带抛物线过渡的线性插值等常用方法,并重点分析了关节空间三次多项式插值的步骤与约束条件求解过程,旨在帮助理解如何通过时间变量优化机器人的运动平滑性与效率。
横向评测 7 款主流 AI PPT 生成工具,包括 SpeedAI、Gamma、讯飞智文、博思 AIPPT、WPS AI、Kimi PPT 及 Beautiful.ai。分析各工具的公司背景、功能特色、免费额度及优缺点。SpeedAI 适合全场景高效产出;Gamma 擅长英文汇报与海外联动;讯飞智文在语音转写与公文场景表现优异;博思 AIPPT 侧重视觉设计…
探讨了前端可访问性的重要性,指出忽略可访问性会导致残障用户无法使用网站。通过对比反面教材与正确实现,介绍了语义化 HTML、ARIA 标签、键盘导航及颜色对比度等关键实践。旨在帮助开发者构建包容性更强的 Web 应用,确保所有用户都能平等获取信息。

Agent-Reach 是一个开源 CLI 工具,旨在解决 AI Agent 无法访问互联网的问题。它通过本地 Cookie 认证和集成 yt-dlp、xreach 等强力开源工具,实现零 API 费用访问 Twitter、YouTube、B 站等平台。该工具采用非侵入式架构,支持 Claude Code、Cursor 等 Agent,提供环境诊断和 SKI…

解读里德·霍夫曼 AI 赋能原则 10,提出'政府 2.0'概念。核心观点是 AI 不应仅替代人力,而应作为公共基础设施扩大每个人的能力边界。文章建议建设国家级 AI 基础设施,提供普惠服务,推动教育融入 AI 素养,并为中小企业构建平台。同时强调建立透明公平的数据治理体系,构建智能化公共服务系统(如医疗、交通、教育),引导企业社会协同智能。最终目标是重构全…
基于 MPV 播放器的开源工具 VR-Reversal,用于将 3D 或 VR 视频转换为普通 2D 格式。该工具解决了在普通设备上无法观看 VR 资源的问题,支持 Windows 系统。用户需下载 MPV 并配置 Lua 插件文件,通过鼠标、键盘控制视角,调整分辨率,并可保存头部运动轨迹数据。它支持批量转换,适合内容创作者和普通用户进行视频格式转换和预览,…
介绍在 Apple 芯片 Mac 上本地运行 Mochi Diffusion 进行 AI 绘画的方法。涵盖系统要求、应用安装(直接下载或源码构建)、Core ML 模型配置、核心功能(文本生成、图生图、ControlNet)及常见问题解决。该工具基于 SwiftUI 开发,支持神经网络引擎,注重隐私保护与本地计算性能。

一个基于 Spring Boot 和 Vue3 的教室信息管理系统。系统采用前后端分离架构,后端使用 Spring Boot、MyBatis、Redis 和 MySQL,前端使用 Vue3 和 ElementUI。功能涵盖用户登录、教室管理、教师管理、课程安排、设施管理及系统监控等模块,支持 RBAC 权限管理和日志记录。项目适用于初学者练手及毕业设计参考。

基于 Protege 和 Neo4j 构建教育领域知识图谱的完整流程。内容包括工具安装、OWL 转 Turtle 格式、RDF 数据导入 Neo4j、使用 APOC 库导出 JSON、利用 Python 脚本转换数据格式以适配 Echarts,最后通过 Vue 实现前端可视化。重点解决了 JDK 版本切换、文件转化失败及数据清洗等常见问题。