别等这波 AI 算力浪潮过去才后悔:CANN 应该学什么?

别等这波 AI 算力浪潮过去才后悔:CANN 应该学什么?

别等这波 AI 算力浪潮过去才后悔:CANN 应该学什么?

在这里插入图片描述

昇腾 CANN 这几年是真在 “狂飙”,生态越做越大、功能越来越多、文档越写越厚…… 但问题也随之出现:

CANN 支持 Python、C++、AscendCL、TBE、MindSpore、PyTorch Frontend、Kernel DSL……这么多"语言",到底学哪个?从哪入门?

别急,今天就给你一次性讲透,看完不再迷茫。

CANN 语言体系到底有多复杂?

在这里插入图片描述

整个 CANN 软件栈由多层 API 和 Kernel 构成,所以才会出现一堆「看似不同,实则分工明确」的语言接口

为了简化理解,我们可以把它粗暴分成三层:

  • 高层:框架调用 — 类似 PyTorch、MindSpore 训练推理
  • 中层:算子 API 调用 — AscendCL、ACL Python、算子编写接口
  • 底层:kernel 语言 — TBE、C++ Kernel、融合算子 DSL

这么拆完,你会发现: 它们不是重复,而是分工不同。

那哪个是你一定要学的?下面直接给你一张"版本更新一样的简表",看完就知道你属于哪类!

如果你只是"做模型推理":Python(ACL Python)就够了

在这里插入图片描述

适用场景:

  • 部署 YOLO
  • 部署大模型
  • ONNX 转 OM
  • 简单前后处理

为什么它值首推? 因为 Python ACL 是官方主推、最简单、最快上手的一套部署 API。你不会接触复杂内存、流、Device buffer,也不用写 Kernel。

一句话总结:

你不是搞算子的,用 Python ACL 就够了。

如果你要做"深度部署 + 自定义流程":C++ AscendCL 必须学

在这里插入图片描述

适用场景:

  • 性能要求高
  • 大规模离线服务
  • 推理服务并发、异步、流水线
  • 自己写 DVPP / AIPP / Memory Pool 管理

为什么必学? 因为真实部署场景里:

  • Python 慢
  • 多线程不友好
  • 高并发时不稳定

C++ AscendCL 是 CANN 最稳、最强、最接近硬件的调用方式。

一句话总结:

做真正的工程化推理,C++ ACL 是你必须掌握的语言。

如果你是"算子开发者":TBE 或 C++ Kernel 必学

这类人最少,但工资最高(你懂的)

CANN 的算子开发分两类:

(1)TBE(Tensor Boost Engine) :偏向静态图 + 大量已有模板,适合:Conv2D、Softmax、MatMul、BatchNorm已有算子二次开发

(2)C++ AICore Kernel(更底层) :偏硬件、写 AI Core 的 kernel pipeline,适合:复杂融合算子手写 pipeline算子性能极限优化AICore scheduler 调优

一句话总结:

TBE = 快速开发;C++ Kernel = 极致性能。

如果你未来想往昇腾、GPU、NPU 算子岗发展,这块是必修课。

如果你是"框架训练端开发":MindSpore 或 PyTorch Adapter

CANN 的训练侧主要依托两条路线:

  • MindSpore(原生最佳) :CANN 和 MindSpore 一家亲 ,用原生能力、全栈功能,MindSpore 体验最好
  • PyTorch 前端(适合本来就用 PyTorch 的人) AutoGrad、OpBuilder、AOT、动态图转图优化都是可用的

总结一句:

训练:MindSpore 最稳;PyTorch 最方便。

到底该学哪个?给你一个最清晰的选型图

你只做模型部署?
学:Python ACL

你要做企业级推理服务?
学:C++ AscendCL

你要做自定义算子?
学:TBE + C++ Kernel

你搞训练?
学:MindSpore / PyTorch Frontend

你是科研学生?
学:Python ACL + PyTorch Frontend(最通用、性价比最高)

未来趋势:CANN 语言生态正在逐步"收敛"

在这里插入图片描述

未来几年 CANN 的语言路线会更清晰:

  • Python → 上层易用封装
  • C++ ACL → 核心部署接口(长期稳定)
  • TBE/C++ → 算子强相关,长期保持底层能力
  • MindSpore → 训练路径主力
  • PyTorch → 长期兼容前端生态

一句话总结:

路线已经很明确了:上层简单、底层增强、接口稳定。 不会出现 “学了白学” 的情况。

最后一句总结

在这里插入图片描述

作为正在入门 CANN、同时接触昇腾与 GPU/NPU 双生态的新手,我越来越能感受到:**CANN 之所以“语言多”,不是为了为难我们,而是因为每一层都有它存在的价值。**搞清楚自己要做什么,选对应的一两门开始学,完全不会走弯路。其实可以这样理解:

  • **如果你只是想把模型跑起来:学 Python ACL 就足够了。**上手快、成本低、不需要理解底层,完全新手友好。
  • **如果你想做真正能上线的工程部署:Python + C++ 是必须的组合。**Python 写流程、C++ 保性能与稳定性,后期维护也更放心。
  • **如果你未来想往深度技术、算子方向走:TBE + C++ Kernel + ACL 缺一不可。**这是最吃技术也最值钱的一条路线,但不需要一开始就全学。

CANN 不需要你一次学会所有语言,选对起点更重要。随着项目深入,你自然会从"会用"走向"能调",越学越强,价值也就越高。

最后我想说:

互联网的每一波技术浪潮,都曾给无数新人机会:

HTML 出来的时候,你可能没赶上

Java 崛起的时候,你可能还在观望

但这一次不一样——AI 架构下的算力语言体系正在重新洗牌,CANN 正处在“从小众到主流”的关键窗口。

现在入场,不算晚,甚至恰恰是最好时机

抓住这一波,你学到的不止是 API,而是一整套面向未来的算力思维方式

技术浪潮不会等人,但这一次,你完全来得及。

Read more

llama.cpp加载多模态gguf模型

llama.cpp预编译包还不支持cuda12.6 llama.cpp的编译,也有各种坑 llama.cpp.python的也需要编译 llama.cpp命令行加载多模态模型 llama-mtmd-cli -m Qwen2.5-VL-3B-Instruct-q8_0.gguf --mmproj Qwen2.5-VL-3B-Instruct-mmproj-f16.gguf -p "Describe this image." --image ./car-1.jpg **模型主gguf文件要和mmporj文件从一个库里下载,否则会有兼容问题,建议从ggml的官方库里下载 Multimodal GGUFs官方库 llama.cpp.python加载多模态模型 看官方文档 要使用LlamaChatHandler类,官方已经写好了不少多模态模型的加载类,比如qwen2.5vl的写法: from llama_cpp import Llama

【GitHub】github学生认证,在vscode中使用copilot的教程

【GitHub】github学生认证,在vscode中使用copilot的教程

github学生认证并使用copilot教程 * 写在最前面 * 一.注册github账号 * 1.1、注册 * 1.2、完善你的profile * 二、Github 学生认证 * 注意事项:不完善的说明 * 三、Copilot * 四、在 Visual Studio Code 中安装 GitHub Copilot 扩展 * 4.1 安装 Copilot 插件 * 4.2 配置 Copilot 插件(新安装) * 4.3 换 Copilot 插件账号 🌈你好呀!我是 是Yu欸🌌 2024每日百字篆刻时光,感谢你的陪伴与支持 ~🚀 欢迎一起踏上探险之旅,挖掘无限可能,共同成长!

彻底关闭Win10中烦人的365 Copilot弹窗的6种方法

快速体验 1. 打开 InsCode(快马)平台 https://www.inscode.net 2. 点击'项目生成'按钮,等待项目生成完整后预览效果 输入框输入如下内容 帮我开发一个Windows系统优化小工具,用于帮助普通用户一键禁用各类系统弹窗和推送功能。系统交互细节:1.提供常见弹窗类型选择 2.显示当前系统状态 3.一键禁用功能 4.支持恢复默认设置。注意事项:需要管理员权限运行 最近很多Win10用户在系统升级后都遇到了Microsoft 365 Copilot频繁弹窗的问题,这个功能虽然智能,但频繁的打扰确实影响工作效率。经过实测,我总结了6种有效的关闭方法,从简单隐藏到彻底禁用一应俱全。 1. 任务栏临时隐藏是最简单的解决方案,只需右键任务栏取消勾选相关选项。但这个方法只是隐藏入口,Copilot功能仍在后台运行。 2. 组策略彻底禁用是最推荐的方式,通过系统内置的组策略编辑器可以完全关闭Copilot。操作时需要管理员权限,设置完成后需要重启生效。这个方法禁用后连快捷键都会失效,