windows安装并编译llama.cpp步骤,亲测可用

windows安装并编译llama.cpp步骤,亲测可用

一、下载visual studio

下载 Visual Studio Tools - 免费安装 Windows、Mac、Linux

选择c++桌面开发

二、下载cmake

Download CMake

三、下载CUDA toolkits(需要GPU加速可选)

CUDA Toolkit - Free Tools and Training | NVIDIA Developer

四、安装 curl(需要联网下载模型可选)

git clone https://github.com/microsoft/vcpkg.git cd vcpkg .\bootstrap-vcpkg.bat .\vcpkg install curl:x64-windows

        需手动新建模型下载目录C:\Users\Administrator\AppData\Local\llama.cpp

五、下载llama.cpp源代码并编译:

git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build build --config Release

        -B build:指定构建目录为 ./build。
        -DGGML_CUDA=ON:启用 CUDA 支持(需已安装 CUDA 工具包)。
        -DLLAMA_CURL=ON:启用 CURL 支持(需已安装 curl)

六、进入build\bin\Release目录开始使用llama

Read more

【从 0 到 1 吃透 AI Agent】:底层逻辑、工具链选型与代码实现

【从 0 到 1 吃透 AI Agent】:底层逻辑、工具链选型与代码实现

🎁个人主页:User_芊芊君子 🎉欢迎大家点赞👍评论📝收藏⭐文章 🔍系列专栏:AI 文章目录: * 从入门到实践:全面解析AI Agent(智能体)的技术原理与应用落地 * 一、什么是AI Agent? * 1.1 定义与核心特征 * 1.2 AI Agent与传统LLM的区别 * 二、AI Agent的核心架构 * 2.1 感知层:获取信息的“感官” * 2.2 决策层:Agent的“大脑” * (1)任务规划(Task Planning) * (2)推理决策(Reasoning) * 2.3 执行层:落地行动的“手脚”

NotebookLM类似产品全览:AI研究与知识管理工具对比

NotebookLM类似产品全览:AI研究与知识管理工具对比 NotebookLM是Google推出的AI增强型研究笔记本,核心功能包括文档上传与分析、基于内容的问答、AI生成摘要/播客、知识关联发现和团队协作。以下是功能相近的主流产品,按类型与核心优势分类整理,便于快速匹配需求。 一、开源平替(私有化部署首选) 产品名称核心优势支持模型特色功能Open Notebook暴涨12k+ GitHub Star,高度可定制OpenAI、Claude、Gemini等16种,支持Ollama本地部署多笔记本管理,PDF/Word/视频内容整合,离线运行PageLM教育场景优化,社区驱动支持多种开源模型自动生成康奈尔笔记、互动测验、间隔重复闪卡、AI播客KnowNote轻量本地优先,Electron构建本地LLM隐私保护,快速文档处理,简单易用CookbookLM专注PDF处理,隐私优先Qwen 2.5、Google开源模型高级OCR与表格提取,高速推理优化,本地运行 二、商业SaaS产品(开箱即用) 1. 全能研究助手 * Claude Projects(Anthro

人工智能:预训练语言模型与BERT实战应用

人工智能:预训练语言模型与BERT实战应用

人工智能:预训练语言模型与BERT实战应用 1.1 本章学习目标与重点 💡 学习目标:掌握预训练语言模型的核心思想、BERT模型的架构原理,以及基于BERT的文本分类任务实战流程。 💡 学习重点:理解BERT的双向注意力机制与掩码语言模型预训练任务,学会使用Hugging Face Transformers库调用BERT模型并完成微调。 1.2 预训练语言模型的发展历程与核心思想 1.2.1 为什么需要预训练语言模型 💡 传统的自然语言处理模型(如LSTM+词嵌入)存在两个核心痛点:一是需要大量标注数据才能训练出高性能模型,二是模型对语言上下文的理解能力有限。 预训练语言模型的出现解决了这些问题。它的核心思路是先在大规模无标注文本语料上进行预训练,学习通用的语言知识和语义表示,再针对特定任务进行微调。这种“预训练+微调”的范式,极大降低了对标注数据的依赖,同时显著提升了模型在各类NLP任务上的性能。 预训练语言模型的发展可以分为三个阶段: 1. 单向语言模型阶段:以ELMo为代表,通过双向LSTM分别学习正向和反向的语言表示,再拼接得到词向量。但ELMo本质还

AI如何帮你快速生成机械零件3D模型?

快速体验 1. 打开 InsCode(快马)平台 https://www.inscode.net 2. 点击'项目生成'按钮,等待项目生成完整后预览效果 输入框内输入如下内容: 创建一个能够根据用户输入的自然语言描述自动生成机械零件3D模型的Web应用。用户可以通过简单的文字描述(如'生成一个M6螺栓,长度30mm,六角头'),系统自动转换为3D模型代码(如STL或STEP格式),并提供实时预览和下载功能。应用需包含常见机械零件库(螺栓、齿轮、轴承等)的预设模板,支持参数化调整。使用Three.js或类似库实现3D渲染,后端处理用户输入并生成对应模型代码。 最近在做一个机械设计项目,需要频繁创建各种零件的3D模型。传统建模软件虽然强大,但学习成本高、操作繁琐。于是我开始探索AI辅助开发的可能性,发现用自然语言描述就能自动生成3D模型代码的方案特别实用。以下是具体实现思路和经验分享。 1. 核心功能设计 这个Web应用的核心是让用户用日常语言描述零件(比如&