在 Mac Mini M4 上本地跑大模型(Ollama + Llama + ComfyUI + Stable Diffusion | Flux)

在 Mac Mini M4 上本地跑大模型(Ollama + Llama + ComfyUI + Stable Diffusion | Flux)

Mac Mini M4 配备了苹果自家研发的 M1/M2/M4 芯片,具有强大的处理能力,能够支持本地跑一些大模型,尤其是在使用如 Ollama、Llama、ComfyUI 和 Stable Diffusion 这类 AI 相关工具时,性能表现非常好。本教程将指导你如何在 Mac Mini M4 上本地部署并运行这些大模型,涵盖从环境搭建到使用的全流程。


一、准备工作

  1. 确保系统更新
    确保你的 macOS 版本已更新到最新的版本(例如 macOS 13.0 以上),这将确保兼容性和性能。

安装 Homebrew(macOS 包管理工具)
Homebrew 是 macOS 上非常流行的包管理工具,它帮助你方便地安装各种软件。在终端中输入以下命令来安装 Homebrew(如果你尚未安装):

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

二、安装依赖项和环境配置

1. 安装 Python 和虚拟环境

对于大部分 AI 工具,你需要 Python 3.x 和虚拟环境来管理依赖关系。首先确保 Python 版本合适:

brew install [email protected] 

创建一个新的虚拟环境:

python3 -m venv ai-env source ai-env/bin/activate 
2. 安装 Ollama

Ollama 是一个可以直接加载多个大模型的框架,它支持本地运行大模型,且易于配置。安装 Ollama:

brew tap ollama/ollama brew install ollama 

安装完成后,可以通过以下命令启动 Ollama:

ollama start 
3. 安装 Llama

Llama 是一个非常强大的语言模型,可以用于各种自然语言处理任务。你可以通过以下命令安装 Llama:

克隆 Llama 的 GitHub 仓库:

git clone https://github.com/facebookresearch/llama.git cd llama python setup.py install

通过 pip 安装 Llama 依赖:

pip install llama-index 

Read more

SmolVLA多场景落地:太空机器人舱内维护任务的动作规划适配

SmolVLA多场景落地:太空机器人舱内维护任务的动作规划适配 1. 项目概述 想象一下,在遥远的太空站里,一个机器人需要自主完成各种维护任务:抓取工具、更换设备、整理物资。这些任务看似简单,但在微重力环境下,每一个动作都需要精确规划。这就是SmolVLA大显身手的地方。 SmolVLA是一个专门为经济实惠的机器人技术设计的视觉-语言-动作模型。它最大的特点是"小而精"——只有约5亿参数,却能在各种现实场景中表现出色。就像给机器人装上了"眼睛"和"大脑",让它能看懂环境、理解指令、并执行准确的动作。 本文将通过一个具体的Web演示界面,展示SmolVLA如何适应太空舱内维护任务的动作规划需求。这个界面运行在本地7860端口,提供了一个直观的方式来体验模型的强大能力。 2. 环境准备与快速部署 2.1 系统要求 SmolVLA对硬件要求相当友好,推荐使用RTX 4090或同等级别的GPU,但即使没有高端显卡,它也能在CPU上运行(只是速度会慢一些)。这种灵活性让它特别适合实际部署场景。 2.2

具身机器人从研发到量产,网络到底该怎么分阶段规划?

具身机器人从研发到量产,网络到底该怎么分阶段规划?

在具身机器人从实验室走向量产的过程中,很多技术负责人会反复面对两个问题: “网络到底该怎么规划?是从一开始就重投入,还是先跑起来再说?” “为什么明明早期‘能连上’,后期却不得不推倒重来?” 事实是,网络的复杂度不是线性增长的,而是随着业务阶段发生结构性跳变。 真正决定成败的,往往不是技术选型,而是在哪个阶段做了哪些不可逆的假设。 从研发到落地:网络是如何一步步变复杂的? 在很多具身机器人企业里,网络往往不是一开始就被认真对待的对象。 原因也很现实: ● 规模不大、设备不多、研发节奏紧,能连上就先用着。网络,似乎可以等“跑起来”之后再说。 但在实际项目中,很多运维负责人都会有一种事后回看的无力感: 网络并不是突然出问题的,而是一步一步,被阶段性需求推到失控边缘的。 如果你正负责一家机器人公司的广域网建设或运维,可能会发现:真正的挑战,并不发生在量产阶段,而是更早。 为什么要用「阶段视角」来看具身机器人网络? 和传统 IT 系统不同,具身机器人高度耦合物理世界: ● 网络不稳定,不只是“慢一点”; ● 延迟和抖动,会直接改变机器人行为结果;

Unsloth LLaMA Factory 大语言模型微调工具对比比较 主打极致速度与显存优化*适合单卡/少卡快速迭代 代码/低代码、全场景、多模型兼容**

Unsloth 主打极致速度与显存优化,适合单卡/少卡快速迭代;LLaMA Factory 主打零代码/低代码、全场景、多模型兼容,适合新手与企业级一站式微调。下面从核心定位、性能、功能、上手、适用场景等维度详细对比。 一、核心定位与本质区别 维度UnslothLLaMA Factory核心定位单卡/少卡微调加速引擎,专注性能优化一站式微调平台,全流程、全场景、低门槛设计理念用底层算子优化(Triton)榨干GPU性能封装复杂流程,降低使用门槛,覆盖全训练范式与HF关系兼容HF生态,是加速插件(可嵌入其他框架)基于HF生态构建,是完整训练框架开源协议Apache-2.0Apache-2.0 二、性能对比(单卡场景) 指标UnslothLLaMA Factory训练速度比标准HF快 2–5倍(核心优势)接近标准HF,比Unsloth慢显存占用降低 50%–80%(QLoRA下更明显)降低 ~70%

把 Vivado 项目放心交给 Git:一篇 FPGA 工程师必读的实战指南

之前分享过一篇文章《FPGA 版本管理三种方式:你会选哪一种?》,评论区很多人都推荐使用Git进行版本管理,今天这篇文章主题就是使用Git进行备份指南。 在 FPGA 开发中,掌握 Git 等源码管理工具已经是必备技能。 当然,在使用 Vivado 时,我们不仅需要处理源代码控制,还需要处理以 IP 为中心的设计产品。 Vivado 的工程通常是 IP 为中心 的设计,包含: * IP Integrator Block Diagram * 各类 IP 实例(独立 IP 或 BD 内 IP) * 自动生成的包装文件与工程产物 这让很多 FPGA 工程师一开始会觉得: “Vivado 项目到底该怎么和 Git 一起用?” 好消息是,从 Vivado