
MacBook 本地部署大模型:Ollama 与 llama.cpp 方案对比
介绍在搭载 Apple Silicon 芯片的 MacBook 上部署本地大模型的两种方案:Ollama 和 llama.cpp。Ollama 适合新手,支持一键拉取运行;llama.cpp 适合进阶用户,提供极致性能优化。文章涵盖环境确认、安装步骤、核心避坑点(如内存不足、端口冲突、Metal 加速)及离线配置方法,并对比了两者优缺点,帮助用户根据需求选择…
博客作者
撸猫日常
310
已发布文章
12K
博客获赞
1.1M
博客浏览
第 7 页

介绍在搭载 Apple Silicon 芯片的 MacBook 上部署本地大模型的两种方案:Ollama 和 llama.cpp。Ollama 适合新手,支持一键拉取运行;llama.cpp 适合进阶用户,提供极致性能优化。文章涵盖环境确认、安装步骤、核心避坑点(如内存不足、端口冲突、Metal 加速)及离线配置方法,并对比了两者优缺点,帮助用户根据需求选择…
FPGA 开发环境搭建常是入门难点。介绍 Microchip Libero SoC 2024.2 版本的基础安装配置,涵盖系统要求、安装类型选择及目录设置建议,帮助开发者快速完成工具链部署并准备首个工程。
探讨了硕士论文盲审中 AIGC 检测的流程与影响。分析了学校对检测报告的三种处理方式,包括直接拦截、随文送审及仅存档。阐述了盲审评委对 AI 率的真实态度,分为学术严谨型、内容导向型和综合考量型。提供了盲审前的时间规划建议、降 AI 注意事项(如保持术语准确性、维护逻辑连贯性、谨慎处理引用及数据分析)及效果验证方法,旨在帮助学生在确保学术规范的前提下顺利通过…
对比评测了开源 ASR 工具 Fun-ASR 与 Whisper。Fun-ASR 针对中文场景优化,参数量更小(Nano 版约 250 万),推理速度更快,支持私有化部署。功能涵盖 VAD 语音活动检测、伪流式识别、批量任务调度及 ITN 逆文本规整。架构基于 FastAPI 和 Gradio,支持本地 SQLite 存储。相比 Whisper,Fun-AS…
一款开源的轻小说机翻机器人,支持网络及本地日语小说的自动翻译。该工具集成了多种翻译引擎,具备自动爬虫、多格式导出及个性化阅读管理功能。技术架构采用前后端分离,后端基于 Kotlin Spring Boot,前端使用 Vue3 TypeScript,并通过 Docker 容器化部署。文章详细阐述了核心模块、部署步骤及进阶优化技巧,旨在帮助开发者快速搭建日语小说…
llama-cpp-python 的安装与配置方法。支持通过 pip 直接安装或使用 CMAKE_ARGS 配置 CUDA、Metal 及 OpenBLAS 等硬件加速后端。提供了预构建轮子的安装方式,包含 CPU 和 CUDA 版本。文章还涵盖了安装后的验证脚本、Windows 与 MacOS 系统的常见问题解决、开发环境搭建步骤,以及高级 API 和聊天…

利用飞算 JavaAI 工具生成电商平台项目的流程。该工具支持文本或语音输入解析业务需求,基于 Java 专有模型自动生成接口与数据库结构,适配主流构建工具输出完整源码,并提供代码优化与漏洞排查功能。通过 IDEA 插件输入具体需求后,工具可自动梳理功能点并生成结构化文档,有效减少重复性工作,提升电商项目开发效率。
介绍在 OpenClaw 框架下配置飞书机器人,使其无需@即可监听并回复群消息的方法。默认配置需@触发,通过修改 openclaw.json 中的 requireMention 为 false 并结合飞书开放平台的 im:message.group_msg 敏感权限申请,可实现免@自动回复。需注意权限审批及应用重新发布流程。

对比了 GitHub Copilot、Trae 和 Cursor 三款主流 AI 编程工具。分析了各工具的特性、功能与定位,涵盖代码补全、交互体验及企业级应用支持等方面,旨在帮助开发者根据需求选择合适的辅助编程方案。
使用 LLaMA-Factory 进行大语言模型微调的完整流程。内容涵盖基于 Conda 的环境隔离安装、数据集注册与配置、WebUI 可视化与命令行脚本两种训练模式的操作步骤。此外,还详细解析了如何通过 Loss 曲线评估训练效果,以及针对显存溢出错误(OOM)的优化策略,包括量化、截断长度和梯度检查点等设置。
详细介绍 llama.cpp 开源大语言模型推理框架。涵盖其纯 C/C++ 实现的核心设计哲学、GGML 底层架构及 GGUF 模型格式。提供源码编译、Docker 部署及 API 服务配置等实践指南,解析量化技术对性能的影响。适用于本地推理、边缘设备部署及企业级私有化场景,帮助开发者在有限硬件上高效运行大模型。

解读斯坦福与 Google 联合发表的 Generative Agents 论文。该研究提出生成式智能体架构,包含记忆流、反思和规划三个核心组件。通过 Smallville 虚拟小镇实验,展示了 AI 智能体如何基于自然语言记忆进行信息传播、关系演变及协作,涌现出类人的社会行为。证明了 Agent 可信度取决于对经历的组织与反思能力。
Llama-2-7b-chat-hf 模型的部署流程,涵盖环境硬件要求、模型获取、核心对话引擎编写及测试验证。内容包含 FP16、INT8、INT4 等量化配置方案以适配不同显存设备,并提供生成参数调优指南以适应技术问答、创意写作等场景。此外还解析了智能客服与代码审查的企业级应用实现,以及内存管理、并发处理等稳定性优化策略和常见故障排除方法。

PaperRed 是一款集智能查重、AIGC 检测、论文降重及自动生成于一体的学术辅助工具。它基于 NLP 技术提供多版本查重服务,涵盖知网等数据库,支持 AI 改写以降低重复率。此外,该工具还提供论文初稿生成、开题报告辅助及答辩 PPT 制作等功能,旨在提升学术创作效率并保障内容原创性。
Stable Diffusion 3.5 本地运行对硬件要求较高,云端 GPU 方案可有效解决老旧设备无法运行的问题。介绍基于云平台的快速部署流程,涵盖环境配置、参数调优、提示词工程及进阶玩法如 LoRA 和 API 集成。通过预置镜像一键启动 WebUI,无需复杂驱动安装,即可实现高质量图像生成,适合希望低成本体验 AI 绘图的开发者与创作者。
AI 绘画领域面临伦理风险与合规挑战,主流模型如 Stable Diffusion 内置 NSFW 分类器。核心方案包括权重调节技巧构建负面提示词库,以及使用 TensorFlow 实现图像 NSFW 检测代码。避坑指南涵盖误判处理与多模态审核设计,合规实践建议强调法律边界与数据清洗。旨在保障内容安全同时不扼杀艺术表达多样性。
OpenClaw 框架允许为不同 Agent 独立配置飞书机器人。核心步骤包括创建新 Agent、设置 App ID 和 Secret、绑定 Channel 关系以及重启网关。常见故障如无法回复消息通常源于长连接未开启或 Token 配置错误。每个飞书应用建议仅绑定单一 Agent 以避免冲突。

在 Windows 系统上安装和配置 WSL 及 Ubuntu 的完整流程。内容包括启用 WSL 功能、通过 Microsoft Store 或备用链接安装 Ubuntu、解决应用商店问题、创建用户、更换国内镜像源、开启 WSLg 图形界面支持以及实现 Windows 与 Linux 文件系统的互操作。修正了原文中的命令拼写错误,提供了适用于 Ubuntu…
在 VS Code 中使用 Git 将代码上传至 GitHub 的完整流程。内容包括基本提交步骤、处理版本冲突的方法(强制推送或拉取合并),以及在多分支环境下如何分别提交前端和后端代码。重点讲解了部分提交、分支切换时的代码迁移、以及使用 Stash 暂存功能解决分支冲突的技巧,确保开发工作流顺畅。

针对原 Edict 项目仅支持 macOS/Linux 的问题,其 Windows 全兼容移植版。修复了 subprocess 执行、路径解析、信号处理及编码兼容性等核心问题,提供 PowerShell 一键安装脚本。系统保留 12 个 AI Agent 架构、实时看板及审计日志功能,实现开箱即用,解决了 Windows 用户无法体验该多 Agent 协作系…