
昇腾 NPU 部署 Llama 2 模型:性能测试与优化实战
在昇腾 NPU 上跑 Llama 2 模型:性能测试与优化实战 !图片 引言:从'为什么选择昇腾'开始 面对动辄数万的 NVIDIA 高端 GPU,许多开发者和团队在部署大模型时都感到'钱包一紧'。当我在为 Llama 2-7B 寻找一个高性价比的部署方案时,**华为昇腾(Ascend)NPU**走进了我的视野。其**自主可控的达芬奇架构**、日益完善的**…
博客作者
分布式追踪专家
351
已发布文章
16K
博客获赞
843K
博客浏览
第 4 页

在昇腾 NPU 上跑 Llama 2 模型:性能测试与优化实战 !图片 引言:从'为什么选择昇腾'开始 面对动辄数万的 NVIDIA 高端 GPU,许多开发者和团队在部署大模型时都感到'钱包一紧'。当我在为 Llama 2-7B 寻找一个高性价比的部署方案时,**华为昇腾(Ascend)NPU**走进了我的视野。其**自主可控的达芬奇架构**、日益完善的**…
FPGA如何'硬刚'高速数字信号处理?从电路思维讲透设计本质 你有没有遇到过这样的场景: 一个实时频谱监测系统,要求每秒处理2.5亿个采样点,CPU跑得风扇狂转却依然延迟爆表; 或者在5G基站中,需要对上百路信号同时做滤波、变频和FFT——传统处理器根本扛不住这数据洪流。 这时候,工程师往往会说出那句经典台词:'这个任务,得用FPGA来搞。' 但问题是: *…
知网 AIGC 检测系统工作原理 很多同学对知网的 AIGC 检测系统感到神秘,不知道它到底是怎么判断文本是不是 AI 生成的。其实理解了检测原理,降低 AI 疑似度就有了明确的方向。 知网 AIGC 检测系统主要分析文本的统计学特征,而不是去识别你用了什么工具。它会从多个维度评估文本:词汇分布的规律性、句式结构的重复程度、段落组织的模式化程度,以及整体文本…
HACS 极速版是针对国内网络环境优化的 Home Assistant 插件管理工具,旨在解决插件下载缓慢的问题。本指南将介绍 HACS 极速版的使用技巧,帮助提升智能家居体验。 为什么选择 HACS 极速版? **常见网络痛点分析:** 官方 HACS 下载插件经常卡顿或失败 更新插件需要漫长等待 网络环境限制影响智能家居体验 **核心优势:** HACS…
在现代前端开发中,从设计稿到可用页面的交付往往需要大量重复劳动:切图、手写样式、布局调整……而借助 **MCP Server - Figma AI Bridge**,我们可以将 Figma 设计稿自动转换成整洁的 HTML/CSS/JS 代码,并立即生成可预览的网页。一键化、傻瓜式操作,让设计交付效率跃升。 测试使用的系统环境如下: **Trae IDE 版…

Flutter 组件 deepseek 的适配 鸿蒙 Harmony 实战 前言 在 AI 浪潮席卷全球的今天,大模型(LLM)已成为移动应用创新的核心引擎。而在众多的国产模型中,DeepSeek 凭借其卓越的算法效率和极致的性价比,正成为开发者们的选择。 将 DeepSeek 这种顶尖的认知能力,植入到全面拥抱智能化、万物互联的鸿蒙(OpenHarmony…
项目地址 ui-ux-pro-max-skill 全局安装 uipro-cli 进入你的前端项目 初始化并绑定 AI 在 IDE 侧边栏中输入提示词
DeepSeek-OCR-WEBUI 详解|高性能 OCR 文本识别部署全流程 背景与技术价值 随着数字化转型的加速,企业对非结构化文档的自动化处理需求日益增长。在票据识别、证件录入、档案电子化等场景中,光学字符识别(OCR)技术成为关键基础设施。传统 OCR 工具在复杂背景、低质量图像或手写体识别上表现受限,难以满足高精度业务要求。 DeepSeek-OC…

评测了 2026 年 11 款主流 AI 漫剧制作工具,包括 360 纳米漫剧流水线、有戏 AI、漫剧工场等。内容涵盖工具的核心功能、适用场景及资费情况。通过对比分析,帮助用户根据需求选择适合的工具,如个人创作者可选免费或积分制平台,专业工作室可考虑工业级方案。文章还提供了提示词优化、角色一致性维护等实用技巧,并解答了版权、中文支持等常见问题。
利用 Llama-Factory 框架进行金融舆情分析微调的实际案例。针对通用大模型不懂金融术语的问题,通过 QLoRA 技术在单卡 GPU 上完成高效微调。流程涵盖数据准备、指令模板配置、训练策略选择及评估部署。最终模型在隐性利空识别上表现优异,F1-score 达 0.91。文章还提供了 YAML 配置示例与 Python 代码片段,强调了数据质量、模型…
Stable Diffusion WebUI 在 Windows 系统下的标准部署步骤,包括 Python 环境配置、Git 仓库克隆及虚拟环境设置。针对启动时常见的模块缺失、语法错误及依赖冲突等问题,提供了详细的排查思路和修复命令。此外,文章还总结了关键注意事项和测试用的提示词参数,旨在帮助开发者快速搭建本地 AI 绘画环境并解决运行故障。

档介绍了 FPGA 开发工具 Quartus II 13.1 与 ModelSim/ModelSim-Altera 的安装步骤及配置方法。内容涵盖软件解压、安装向导操作、EDA 工具路径设置、仿真库编译以及 VHDL 工程创建与波形仿真流程。同时列出了常见的报错信息及其解决方案,如库格式不支持、路径配置错误等。旨在帮助用户快速搭建本地 FPGA 开发环境。
前端监控的重要性及实施方案。首先指出缺乏监控会导致问题难以定位,随后展示了基于 Sentry 的错误追踪配置,包括初始化与错误边界组件的使用。接着讲解了利用 Web Vitals 进行性能指标(CLS, FID, LCP 等)监控的方法,以及集成 Google Analytics 进行用户行为追踪。最后提供了自定义日志级别管理的代码示例。通过这些措施,开发者…

深入解析大语言模型(LLM)面临的幻觉、时效性及数据安全问题,并提出检索增强生成(RAG)技术作为解决方案。文章详细阐述了 RAG 的定义、架构(检索器与生成器)、八大优势及与 SFT 的对比。通过数据索引、检索和文本生成三个步骤介绍典型实现方法,并结合 ChatPDF、Baichuan 等案例说明应用场景。同时分析了 RAG 存在的检索依赖、黑盒利用、效率…

豆包、即梦、剪映、飞书、扣子五大 AI 工具的核心功能与应用场景。涵盖文案创作、视频制作、团队协作及自动化工作流搭建等实战方案,旨在帮助用户通过工具组合提升办公与创作效率,实现从入门到精通的无缝衔接。
Copilot CLI Session 是一种在本地后台运行的自主 Agent 会话,独立于 VS Code 主进程。它支持 Worktree 和 Workspace 两种隔离模式,确保代码修改安全可控。用户可通过 Chat 视图或终端创建并管理会话,适合执行明确、长时间运行的任务。相比本地 Agent 和 Cloud Agent,CLI Session 在…

基于魔搭平台和 LLaMA Factory 工具进行大模型微调的完整流程。内容包括环境搭建、轻量模型下载、数据集准备与转换、WebUI 训练配置、效果测试以及模型导出为 GGUF 格式。通过 Qwen2.5-0.5B-Instruct 模型和淘宝评价数据集进行实操演示,最终可在本地使用 Jan.ai 或 Ollama 加载运行微调后的模型。文章旨在帮助开发者…

Page-Agent 是阿里开源的前端智能体项目,通过注入一行 JS 代码,使大模型能够直接寄生在网页 DOM 中执行操作。它采用客户端优先架构,无需后端改造或无头浏览器,利用 DOM 脱水技术降低 Token 消耗,支持多种大模型接入。核心功能包括表单自动填写、跨标签页数据搬运及人机协同安全机制,适用于 B2B 系统智能化升级及老旧系统改造。
在树莓派 4(4GB 内存)上部署 ClawdBot 和 MoltBot 的案例,实现了 OCR、Whisper 语音转写及 vLLM 大模型推理的本地化运行。通过优化模型选型(如 Whisper tiny、PP-OCRv4)和资源调度,系统支持 15 人并发使用且无卡顿。方案强调数据隐私可控、响应确定及低资源占用,提供了从配置到性能测试的完整实操指南,展示…

ABB 机器人虚拟示教器的基础操作,涵盖模式切换、坐标系选择、工具/工件/载荷数据设置、操纵杆控制技巧、程序编辑器结构、运动指令要点及中断处理等内容。文章提供了编程规范建议、快速排错指南及学习路径,强调安全第一,适合初学者入门掌握机器人基本操作与编程逻辑。