
昇腾 NPU 部署 Llama 2 模型的性能测试与优化实践
昇腾 NPU 部署 Llama 2 大模型涉及环境配置、模型加载、性能测试及优化全流程。文章记录了在云环境下完成从安装依赖到推理运行的步骤,重点解决了 NPU 后端注册、HuggingFace 下载加速及输入张量迁移等常见问题。通过实测数据对比 FP16 与 INT8 量化后的吞吐量差异,展示了昇腾 NPU 在离线批处理场景下的性能表现,并给出了基于 Min…
博客作者
实时计算工程师
371
已发布文章
13K
博客获赞
832K
博客浏览
第 12 页

昇腾 NPU 部署 Llama 2 大模型涉及环境配置、模型加载、性能测试及优化全流程。文章记录了在云环境下完成从安装依赖到推理运行的步骤,重点解决了 NPU 后端注册、HuggingFace 下载加速及输入张量迁移等常见问题。通过实测数据对比 FP16 与 INT8 量化后的吞吐量差异,展示了昇腾 NPU 在离线批处理场景下的性能表现,并给出了基于 Min…
GitHub Copilot Agent Skills 允许开发者为 AI 代理配置专用知识库。通过 SKILL.md 定义技能结构,支持项目级与全局级作用域。利用软链接实现个人工具箱同步,借助 GitHub Actions 工作流完成团队环境自动化分发。此举将 AI 编程从通用辅助转向定制化增强,提升开发效率与规范一致性。

介绍 RabbitMQ 基于 AMQP 协议的事务机制,确保消息发送的原子性。通过 Spring AMQP 配置 RabbitTemplate 开启 channel 事务,并结合@Transactional 注解实现业务逻辑与消息发送的一致性。文章演示了未配置 RabbitTransactionManager 导致异常时部分消息已入队的问题,以及添加事务管理…
PythonWin7 项目解决了 Python 3.9 及以上版本不支持 Windows 7 的问题。通过修改源码适配系统 API、集成关键 DLL 文件,实现在 Win7 SP1 上的安装运行。用户可获取 3.8 至 3.14 版本安装包,执行安装后验证环境。建议优先选择稳定版如 3.9.25,并使用虚拟环境隔离。需确保系统已安装 KB2533623 等补…
对比了 Selenium 与 Playwright 在动态页面爬取中的差异,介绍了 Playwright 的环境搭建、核心 API 及异步爬取技术。通过爬取豆瓣电影 Top250 的案例,展示了从页面加载到数据存储的全流程,旨在帮助开发者构建高性能、高稳定性的动态页面爬虫方案。
记录了在 Ubuntu 系统下部署 OpenClaw 双机协作环境的全过程,包括云端 Gateway 与本地 Node 节点的配置。内容涵盖基础安装命令、网络环境要求以及实际遇到的常见问题,如 Token 不匹配、配对失败、连接挂起及 Node 节点执行权限受限等。重点说明了 Node 模式作为受限能力提供者的特性,并提供了相应的排查思路与解决方案,旨在帮助…
C++26 引入标准化任务优先级机制,基于 std::executor 扩展接口支持优先级语义。预定义 critical、high、normal、low 四级层级,屏蔽底层 OS 差异。通过统一调度器抽象、优先级继承增强机制及资源竞争控制,优化关键路径响应速度并避免优先级反转。结合线程池调度、CPU 亲和性及动态调整策略,提升高并发系统吞吐量与稳定性。

二分查找算法应用于计算整数平方根及有序数组搜索插入位置。对比暴力枚举方案,利用区间单调性将时间复杂度优化至对数级。文章涵盖两种场景的思路分析、C++ 代码实现细节及边界条件处理逻辑。

系统讲解了 C++ STL 红黑树的核心知识。涵盖红黑树定义、四大特性、时间复杂度分析,重点解析插入操作的三种调整场景(变色、单旋、双旋)及验证逻辑。提供完整 C++ 类模板实现,包含查找、插入、旋转、平衡校验等功能,并通过百万级数据规模测试对比了红黑树与 AVL 树的性能差异。
Mac 系统默认仅包含宋体 - 简,导致部分软件显示异常。可通过字体册检查缺失情况。解决方案是从 GitHub 下载标准的 simsuns.ttc 文件并安装至字体册,注意优先选择 .ttc 格式以兼容新宋体。
C++ STL 提供了丰富的排序与堆操作算法,涵盖 std::sort、stable_sort、partial_sort 等核心工具。文章解析了底层机制、性能特征及稳定性差异,通过实战案例演示如何根据场景选择合适算法,并强调自定义比较器的严格弱序要求与异常安全考量,帮助开发者高效处理数据有序性问题。

C++ 基于红黑树模拟实现 set 和 map 容器。文章分析 SGI-STL 源码结构,调整 rb_tree 泛型参数以支持键值对或单键存储。修改迭代器逻辑,实现中序遍历的前进与后退操作,并处理哨兵位。封装 set 和 map 类,利用 KeyOfT 仿函数提取比较键,完成 insert、find 及 [] 运算符重载。通过此实践深化对平衡二叉搜索树及 S…

本题集包含三道 C++ 算法题,分别涉及数字重排、队列约束与二叉树路径和。第一题考察字符串操作与贪心策略,通过交换数位实现偶数重排;第二题利用回溯法解决带约束的排列计数问题,重点在于剪枝逻辑;第三题深入二叉树递归,通过后序遍历计算最大路径和,需妥善处理负值对路径的影响。代码均经优化,注重边界条件与时间复杂度控制,适合面试备考参考。
Selenium Python 浏览器自动化教程涵盖环境搭建、基础操作、元素定位(ID、XPath、CSS 等)、等待机制及综合实战案例。内容包含安装配置、网页交互方法、下拉框处理、显式隐式等待详解,以及 Bing 图片爬虫完整代码示例,适合初学者快速上手实现网页自动化任务。

介绍基于 SpringBoot 后端调用天地图 API 进行路径规划,并利用 Leaflet 库在前端实现可视化的完整流程。以黄花机场至橘子洲景区为例,展示了路线解析、起止点标记及转折路线信息的动态渲染方法。方案无需自行实现路径规划算法,适合快速集成导航功能。

讲解 LeetCode 385 迷你语法分析器的 Swift 实现。该题要求将嵌套列表的字符串表示解析为 NestedInteger 对象。核心方案使用栈维护嵌套结构,遍历字符处理整数、列表及符号。代码包含对单个整数、空列表、负数及多层嵌套的处理逻辑。算法时间复杂度为 O(n),空间复杂度为 O(n)。此类解析技术可应用于 JSON 解析、配置文件读取及表达…
Windows 环境下 Python 安装面临新版本管理器带来的环境变量及多版本切换难题。通过对比 python 与 py 命令机制,分析 pip 安装依赖的路径限制。推荐使用 uv 工具替代传统安装方案,实现零污染的系统环境管理及灵活的版本控制。

Windows 环境下 OpenClaw 开源 AI 助手部署指南。OpenClaw 作为数字员工,能主动处理电脑任务。本地部署需前置准备 Node 环境、设置 PowerShell 执行权限并开通飞书 App 相关权限。通过一键安装命令完成服务部署,对接飞书实现客户端控制台操作体验,旨在提升个人生产力与企业级应用效率。
介绍 Django Web 框架的基础入门知识,涵盖环境安装、项目创建、应用开发、视图路由配置及数据库模型操作。通过命令行工具完成 Django 初始化,讲解 MTV 架构模式,演示如何编写视图函数、配置模板渲染以及使用 ORM 进行数据管理。包含后台管理系统的配置与数据展示示例,帮助开发者快速上手 Django 全栈开发流程。
C++ 与 Rust 混合开发中的双向绑定技术方案。内容涵盖 FFI 基础机制、ABI 兼容性处理、内存管理策略及所有权移交模式。重点讲解了如何通过 C 语言作为中间层解决名称修饰和类型映射问题,提供了 Rust 导出 C 兼容接口及 C++ 封装 Rust 函数的具体代码示例。此外,还探讨了数据结构对齐、STL 容器跨语言调用、回调函数注册及资源清理契约等…