
Llama-2-7b 在昇腾 NPU 上的六大核心场景性能基准
Atlas 800T A2 训练卡对 Llama-2-7b 模型进行了六大场景性能基准测试。结果显示,短输入首 Token 延迟低至 68.27ms,解码速度稳定在 64 tokens/s 左右。批量推理(Batch=8)时吞吐量提升近 9 倍,验证了昇腾 NPU 在并行计算上的优势。测试涵盖实时交互、长文生成及高并发处理等维度,为 LLM 在昇腾平台的部署…
博客作者
数据库优化师
313
已发布文章
8.1K
博客获赞
524K
博客浏览
第 1 页

Atlas 800T A2 训练卡对 Llama-2-7b 模型进行了六大场景性能基准测试。结果显示,短输入首 Token 延迟低至 68.27ms,解码速度稳定在 64 tokens/s 左右。批量推理(Batch=8)时吞吐量提升近 9 倍,验证了昇腾 NPU 在并行计算上的优势。测试涵盖实时交互、长文生成及高并发处理等维度,为 LLM 在昇腾平台的部署…

使用 OpenClaw 框架搭建飞书 AI 办公机器人,涵盖 Node.js 环境配置、本地 Ollama/vLLM 模型接入及云端模型切换、飞书企业自建应用对接流程、以及浏览器操作与数据可视化等 Skills 的自动安装与测试。重点解决上下文窗口报错问题,实现自动化任务处理。
LlamaFactory v0.9.4 版本正式推出,作为不可变发布版本,重点更新了 Python 环境要求至 3.11-3.13,并迁移包管理工具至 uv。新增正交微调(OFT)、语义初始化及 MCoreAdapter 训练支持,适配 KTransformers 后端与 FP8 精度。模型库扩展涵盖 Falcon H1、Kimi-VL、Qwen3 系列等多…
单体应用随着规模扩大面临构建缓慢、协作困难等问题。探讨三种主流微前端解决方案:基于 Webpack 5 的 Module Federation、路由驱动的 Single-SPA 以及阿里开源的 Qiankun。通过拆分独立微应用,实现团队并行开发、按需加载与独立部署,有效降低维护成本并提升系统扩展性。

AR 眼镜融合计算机视觉与人工智能技术,通过集成传感器、微处理器及显示模块实现环境感知与人机交互。文章详细解析了硬件架构中的主控、传感器、显示与通信模块选型,探讨了以边缘智能为核心的 AI 计算技术及多模态交互方案。重点分析了工业、医疗、消费电子等场景的应用现状,并针对功耗、显示效果、算力及隐私安全等挑战提出了软硬件层面的解决方案。随着 MicroLED 显…
Z-Image i2L是一套支持本地离线运行的 AI 文生图工具,重点解决在线绘图常见的隐私、排队和稳定性问题。文章围绕环境准备、启动方式、Prompt 与负向提示词调优、Steps 和 CFG Scale 的取值经验、画幅比例选择,以及电商主图、草图转效果图、隐私敏感素材等场景做了实测说明,并补充了显存优化、批量生成和风格迁移的用法。

CLIProxyAPI 与 New API 结合实现多模型统一代理。通过 Linux 服务器部署 CLIProxyAPI 核心服务,配置 systemd 确保稳定运行。集成 Google OAuth 完成认证。使用 Docker 容器化部署 MySQL 与 New API 中台,实现数据持久化与配额管理。在 New API 中映射渠道并创建 Token,最终…
Jetson Orin NX 结合 Fast-LIO2 算法构建自主飞行四旋翼系统,涵盖实时 SLAM 定位、A*路径规划及势场法避障。方案基于 ROS2 Humble 框架,集成 PX4 飞控与 Livox MID360 激光雷达,实现高精度地图构建与动态环境导航。文档详述硬件选型、编译环境搭建、核心模块配置及系统集成步骤,提供常见问题排查指南,适用于边缘…

Midjourney AI 绘画核心指南涵盖账号注册、提示词结构、参数调控、风格探索及图像优化全流程。文章详解了主体、风格、形容词的构建方法,深入解析了宽高比、风格化、混乱度等高级参数,并介绍了 V7 模型新特性、Remix 重混与 Vary Region 局部重绘等进阶功能。通过实战项目演示了从创意到成品的完整工作流,并提供常见问题解决方案,帮助用户从零掌…

Windows 环境下安装 OpenAI Codex CLI 的步骤指南,涵盖 PowerShell 7、Node.js 环境配置及 CC-Switch 工具设置,实现终端 AI 代码辅助功能。内容包括基础环境准备、CLI 安装与配置、常用命令说明以及 VS Code 插件集成方法,支持自然语言指令完成代码生成与重构任务。
GitHub Copilot 已从基础代码补全工具演进为具备需求理解能力的 AI 开发助手。通过模型升级、多 Agent 系统及代码库索引技术,实现了对开发者意图的深度把握和复杂任务的自主执行。这一转变显著提升了开发效率与代码质量,标志着 AI 在软件开发领域应用的深刻变革。

Vue 框架通过 MVVM 模式实现数据驱动视图,核心在于双向数据绑定与组件化开发。本文详解 Vue 实例创建、模板语法、指令系统(v-bind、v-model、v-if、v-for 等)、事件处理及修饰符用法。深入剖析计算属性与侦听器的区别,阐述 Object.defineProperty 数据劫持机制与响应式原理。涵盖生命周期钩子的应用场景、Class/…
AMD 显卡部署 llama.cpp 常面临 Vulkan 初始化失败、模型加载卡顿及推理缓慢等兼容性问题。核心原因包括驱动版本不匹配、显存管理机制冲突及 SPIR-V 着色器编译异常。解决路径涵盖驱动版本调整(RX 7000 系列推荐 23.11.1+)、编译参数优化(开启 AMD_VULKAN_COMPAT)及 CPU+GPU 混合加速模式。部署完成后需…
基于 STM32F103 标准库实现智能小车避障与循迹功能,涵盖硬件选型与代码逻辑。重点解析 TB6612 电机驱动接线规范及 PWM 控制原理,提供 TIM2 初始化与占空比设置示例。强调独立供电与元件预测重要性,助力快速搭建底层控制框架。

NVIDIA Jetson 设备部署 HuggingFace LeRobot 进行端到端机器人学习的完整流程。涵盖硬件配置、容器环境搭建、数据集录制与可视化、ACT 及扩散策略模型训练与评估。通过 Jetson AGX Orin/NX/Nano 系列,结合 Koch v1.1 机械臂或模拟环境,实现边缘侧机器人智能控制模型的快速迭代与部署。
RISC-V 五级流水线 CPU 在 Xilinx FPGA 上的设计与实现。文章涵盖流水线五大阶段(IF/ID/EX/MEM/WB)原理,解析结构冲突、数据冒险与控制冒险的处理方案,包括前递单元(Forwarding)与暂停逻辑(Stall)。提供 Vivado 环境下的 SDC 约束设置、BRAM 内存映射及 ILA 调试方法。通过汇编程序测试验证了指令…
Solarized 是一款经典的配色方案,以低对比度和科学配色著称。如何在 Windows 平台的 Notepad++ 编辑器中安装并启用该主题,通过导入官方提供的 XML 配置文件替代手动调整,实现深色或浅色模式的快速切换,有效缓解长时间编码带来的视觉疲劳。
ComfyUI 是一款基于节点式设计的 AI 绘画可视化工具,无需编程基础即可通过拖拽组件构建图像生成流程。本文涵盖从环境部署、界面操作到提示词编写及常见问题排查的完整指南。重点介绍了如何加载模型、使用预设工作流、调整正负向提示词以及解决显存不足等典型问题,适合希望快速上手 AI 创作的初学者参考。
Kimi-VL-A3B-Thinking 基于 MoE 架构,支持多模态交互与长上下文。本文分享了基于 vLLM 的部署验证流程,涵盖 Chainlit 前端调用规范及请求队列深度、响应延迟等核心性能调优策略。通过配置 max_num_seqs、batch_size 及 preemption_mode 优化并发,结合混合精度推理与动态批处理提升效率。重点监控…

Playwright 凭借自动等待、网络拦截及多浏览器支持成为 Web 自动化新标准。解析其核心架构,展示异步并发最佳实践与 Trace Viewer 调试方法。重点介绍结合视觉语言模型实现脚本自愈功能,通过截图定位解决选择器失效问题。同时涵盖反爬伪装策略如 stealth 模式与状态复用,以及基于生产者 - 消费者模式的高性能集群部署方案,为测试与爬虫工程…