在Ubuntu Linux安装brew 使用brew安装llama.cpp 运行文心Ernie大模型

经常用Mac的都知道brew,是Mac下的包管理软件。其实这个包管理软件也可以安装在Linux系统,进而可以用brew管理和安装linux软件包。

安装brew

直接安装

直接用下面命令安装即可,注意需要用管理员权限

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 

配置环境变量

安装完成,提示配置环境变量:

 echo >> /root/.bashrc echo 'eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"' >> /root/.bashrc eval "$(/home/linuxbrew/.linuxbrew/bin/brew shellenv)"

因为是直接在root账户下安装的,所以环境变量也都设置的root账户下。

同时它还提醒安装gcc,照办:

brew install gcc

配置一下清华加速镜像

export HOMEBREW_BREW_GIT_REMOTE="https://mirrors.ustc.edu.cn/brew.git" export HOMEBREW_CORE_GIT_REMOTE="https://mirrors.ustc.edu.cn/homebrew-core.git" export HOMEBREW_BOTTLE_DOMAIN="https://mirrors.ustc.edu.cn/homebrew-bottles" 

安装完成,测试一下,安装llama.cpp

安装llama.cpp

先用brew search查看一下 llama相关的软件包

brew search llama ==> Formulae gollama llama.cpp ollama lla llm

直接brew安装llama.cpp

brew install llama.cpp

配置llama.cpp加速镜像

如果速度慢,就加上Huggingface的加速镜像

export HF_ENDPOINT=https://hf-mirror.com

用llama.cpp启动文心ERNIE模型

就用这个文心ERNIE明星模型ERNIE-4.5-21B-A3B-Thinking ,当然是GGUF格式的:ERNIE-4.5-21B-A3B-Thinking-Q4_K_M-GGUF

llama-cli --hf-repo enacimie/ERNIE-4.5-21B-A3B-Thinking-Q4_K_M-GGUF --hf-file ernie-4.5-21b-a3b-thinking-q4_k_m.gguf -p "The meaning to life and the universe is" 

如果下载模型速度慢,就加上Huggingface的加速镜像

export HF_ENDPOINT=https://hf-mirror.com

启动了,但是因为只用了异构计算架构的cpu,么有用到dcu,所以速度非常慢,有多慢呢,简直比13年前的cpu慢

<|im_start|>user The meaning to life and the universe is <|im_start|>assistant We are going to explore the meaning of life and the universe in the context of human existence. The Meaning of Life: Philosophical Perspectives: - Existentialism: Emphasizes individual freedom and responsibility. The meaning of life is what each person chooses to create. - Eudaimonism: Focuses on flourishing (eudaimonia) through virtues and realizing one's potential. - Religious/Spiritual Views: Many religions propose that life's meaning comes from serving a higher power or fulfilling a divine plan. The Meaning of the Universe: Cosmological View: - The universe is vast and indifferent to human concerns. - Big Bang Theory: The universe began 13.8 billion years ago and has been expanding ever since. - Steady State Theory: The universe is eternally constant, but this has been largely discredited. - Multiverse Theory: Our universe is one of many, with each having different physical laws. Connecting Life and

总结

这次主要是实践在Linux系统安装brew,并通过brew来安装llama.cpp,进而启动文心大模型。

总体实践成功过!

Read more

OpenClaw 的免费 AI 大模型及其配置方法

OpenClaw 中的“自由模型”可能意味着两种不同的东西,而混淆这两种模型正是大多数人浪费时间的地方。 有一种“免费”是真正意义上的免费,因为模型运行在本地,你只需要支付 CPU、内存、GPU 和电力费用。例如 Ollama 或你自行托管的 OpenAI 兼容运行时环境。 另一种是“免费套餐”,即托管服务提供商提供一定的配额、积分或 OAuth 访问权限。这种套餐虽然不错,但通常会有速率限制、策略限制,而且偶尔还会出现意外中断或流量突然上限的情况。 本指南篇幅较长,因为模型配置看似简单,但一旦遇到问题,例如工具调用速度变慢、出现 429 错误,或者某个代理使用的身份验证配置文件与预期不符等,就会发现其中的奥妙。我们将力求实用。 如果您是 OpenClaw 新手,想先了解基础知识,可以阅读 OpenClaw 简介及其工作原理。如果您已经运行了 OpenClaw,接下来我们来正确地连接模型。 OpenClaw

OpenClaw Skills 安装与实战:打造你的 AI 技能工具箱

OpenClaw Skills 安装与实战:打造你的 AI 技能工具箱

OpenClaw Skills 安装与实战:打造你的 AI 技能工具箱 本文介绍如何使用 ClawHub 安装和管理 OpenClaw 技能包,并通过实战案例演示多个技能的协同使用。 前言 OpenClaw 是一个强大的 AI 助手框架,而 Skills(技能包)则是扩展其能力的核心方式。通过安装不同的技能包,你可以让 AI 助手具备搜索、总结、开发指导、自我学习等能力。 本文将带你完成: * ClawHub CLI 的安装与使用 * 多个实用技能包的安装 * Self-Improving 记忆系统的初始化 * 一个综合实战案例演示 一、ClawHub:技能包管理器 1.1 什么是 ClawHub ClawHub 是 OpenClaw 的官方技能包市场,提供了丰富的技能包供用户安装使用。 安装 ClawHub

人工智能:大模型高效推理与部署技术实战

人工智能:大模型高效推理与部署技术实战

人工智能:大模型高效推理与部署技术实战 1.1 本章学习目标与重点 💡 学习目标:掌握大语言模型推理与部署的核心技术,理解模型量化、推理加速、服务化部署的原理,能够完成开源大模型的高性能生产级部署。 💡 学习重点:精通INT4/INT8量化技术的应用,掌握vLLM等高性能推理框架的使用方法,学会搭建高并发的大模型API服务。 1.2 大模型推理部署的核心挑战 1.2.1 大模型推理的痛点分析 💡 预训练大模型通常具备数十亿甚至上百亿的参数量,直接进行推理会面临显存占用高、推理速度慢、并发能力弱三大核心问题。 * 显存占用高:以LLaMA-2-7B模型为例,FP16精度下显存占用约14GB,单张消费级显卡难以承载;而70B模型FP16精度显存占用更是超过140GB,普通硬件完全无法运行。 * 推理速度慢:自回归生成的特性导致模型需要逐token计算,单条长文本生成可能需要数十秒,无法满足实时应用需求。 * 并发能力弱:传统推理方式下,单卡同时处理的请求数极少,高并发场景下会出现严重的排队和延迟问题。 这些问题直接制约了大模型从实验室走向实际生产环境,因此高效

Midjourney:还在死磕 C4D?“AI 场景合成流” 3分钟量产电商神图

Midjourney:还在死磕 C4D?“AI 场景合成流” 3分钟量产电商神图

对于电商设计师来说,“场景搭建与渲染” 是最大的产能瓶颈。 要想做一张高质量的 3D 电商海报,传统流程是:C4D 建模 -> 材质节点 -> 打光 -> Octane 渲染(单图 3-5 小时)。现在要你一晚上出 20 张?除非你会影分身。  面对这种“要 C4D 质感、却没渲染时间”的夺命需求,利用 Midjourney(最强光影造景师)配合 Photoshop 2025 的 “对象选择” 与 “生成式填充”,我们可以走一个“AI 场景合成流”的捷径:MJ 负责搭建虚拟摄影棚,PS 负责把产品“