
大模型本地部署:在 Mac 上运行 AI 大模型
如何在 Mac 本地使用 Ollama 部署并运行 Mistral-7B 等大语言模型,并通过 Open WebUI 提供图形化界面。内容涵盖软件安装、模型下载、Docker 环境配置及基本交互测试,旨在帮助开发者在本地构建隐私安全的 AI 实验环境。
博客作者
C/C++开发者
373
已发布文章
17K
博客获赞
961K
博客浏览
第 18 页

如何在 Mac 本地使用 Ollama 部署并运行 Mistral-7B 等大语言模型,并通过 Open WebUI 提供图形化界面。内容涵盖软件安装、模型下载、Docker 环境配置及基本交互测试,旨在帮助开发者在本地构建隐私安全的 AI 实验环境。

系统梳理了大模型学习的五个进阶阶段,从概念认知、本地部署、API 与框架应用、业务场景整合到模型微调优化。文章提供了 LangChain 代码示例,介绍了 RAG 架构及向量数据库应用,并制定了包含基础概念、模型选型、数据工程、实战项目在内的七步学习路线。旨在帮助开发者避开弯路,高效掌握大模型开发技能,实现从理论到落地的完整闭环。

TensorRT-LLM 是 NVIDIA 推出的高性能大模型推理库,其安装、引擎构建及基于 Triton 的部署流程。内容涵盖环境配置、Qwen 模型适配、Inflight Batching 优化及常见网络问题排查,旨在帮助开发者实现低延迟、高吞吐的 LLM 推理服务。

大语言模型(LLM)面试中的核心问题与解答,涵盖基础架构、进阶原理、微调策略、LangChain 应用、参数高效微调(PEFT)、评测及强化学习等模块。内容涉及 Prefix LM 与 Causal LM 区别、涌现能力成因、复读机问题缓解、显存需求估算、指令微调数据构建、LoRA/QLoRA 原理、幻觉处理及 RLHF 实践难点等关键技术点,旨在帮助开发者…

OpenCV 在 Python 环境下的基础使用方法。内容涵盖安装配置、图像与视频的读写及处理、绘图操作、像素级访问与修改、图像算术运算、色彩空间转换、几何变换、阈值处理以及模板匹配等核心技术。此外还补充了轮廓检测和形态学操作等实用章节。文章提供了完整的代码示例,旨在帮助初学者快速掌握计算机视觉库的基本技能,为后续深入学习算法打下基础。

大型语言模型(LLM)存在缺乏记忆的缺陷,导致多轮对话中无法跟踪上下文。探讨了利用 LangChain 框架为 LLM 添加记忆能力的方案。主要介绍了短期记忆(基于内存的 ConversationBufferMemory)和长期记忆(基于 Redis 等外部存储)的实现原理与代码示例。通过手动注入历史对话或使用 ConversationChain 链式调用,…

探讨了企业如何利用大数据架构与大模型集成构建私有知识库。文章介绍了 Apache SeaTunnel 在数据同步中的作用,详细说明了如何通过向量化技术将内部数据转化为大模型可理解的格式。通过实战案例演示了使用 Milvus 向量数据库和 OpenAI 接口实现语义检索的流程,对比了传统关键词搜索与语义搜索的效果差异。此外,还涵盖了企业级实施中的数据安全、索引…

Stable Diffusion WebUI(AUTOMATIC1111)是生成图像的标准图形界面。安装要求、txt2img 文生图基础参数(Checkpoint、Prompt、Seed 等)、img2img 图生图功能(去噪强度、重绘模式)、高清修复(Hires.fix)、Inpaint 局部重绘、图像放大及扩展安装方法,帮助用户掌握核心操作。

AIGC 产品经理转型需掌握行业资讯、研报分析、细分领域知识库搭建及大模型基础知识。重点包括机器学习算法、计算机视觉、自然语言处理及大模型应用(如 LangChain、Stable Diffusion)。实战项目涵盖对话机器人和图像生成,简历需融合过往经验,面试准备涉及技术背景、工作场景及产品素养等多维度问题。
涵盖 Access、MySQL 及 SQL Server 数据库基础操作,包括建库建表、索引视图、增删改查、分组聚合、外连接、分页、存储过程及系统维护命令。整理字符串函数、加密方法、跨库操作及常见查询场景解决方案,提供最佳实践建议,适用于开发者日常开发与运维参考。

详细解析了大模型应用的四大核心技术:提示工程、函数调用、RAG 和微调。提示工程通过优化输入引导模型输出;函数调用使模型能执行外部 API 获取实时信息;RAG 结合检索与生成解决知识时效性和幻觉问题;微调则通过特定数据训练提升模型在垂直领域的表现。文章对比了各技术的优缺点及适用场景,指出实际应用中应组合使用这些技术以构建高效可靠的 AI 系统。

如何在 AutoGen 框架中集成本地开源大模型以降低 API 成本。通过 LM Studio 工具下载并运行 Llama2 7B 模型,开启 OpenAI 兼容的本地 HTTP 服务。文章详细展示了从环境准备、模型加载到 AutoGen 配置列表(config_list)修改的全过程,修正了原有的 Agent 初始化错误,并提供了完整的代码示例。此外,还分…

演示了如何使用 Python 结合 akshare 获取股票数据,利用 LLM 辅助分析股价趋势。流程涵盖数据清洗、特征处理、可视化绘图及智能报告生成。重点介绍了在金融场景下集成大语言模型的方法,同时强调了技术局限性与风险提示。内容包含完整的代码示例与环境配置指南,适合希望了解 AI 在量化分析中应用的开发者阅读。

人工智能学习的全流程指南,涵盖从 Python 基础语法、Numpy 及 Pandas 数据处理,到机器学习核心算法如分类、回归、聚类及特征工程。内容进一步延伸至深度学习技术,包括 BP 神经网络、CNN、RNN 及 Transformer 原理,并分别阐述了 NLP 自然语言处理和 CV 计算机视觉的关键技术与实战案例。最后总结了大厂面试所需的数据结构与算…

S1 方法通过精心策划的 1k 样本数据集 s1K 和创新预算强制策略,利用测试时扩展技术提升语言模型推理能力。该方法在 Qwen2.5-32B-Instruct 上微调后,在竞赛数学问题上表现显著优于 OpenAI o1-preview 模型,准确率提升高达 27%。核心在于通过最大和最小思考令牌数限制控制计算资源分配,防止过度思考或过早终止,实现高效推理…

系统梳理了 Python 标准库的 200 余个核心模块,按功能划分为文本处理、数据结构、数学运算、文件系统、网络通信、并发编程等类别。详细介绍了各模块的主要用途及适用场景,并提供了基础使用示例。旨在帮助开发者快速掌握 Python 内置能力,减少对外部依赖的过度使用,提升代码的可移植性与执行效率。

提供了七个 Python 实用小项目的完整代码与说明,包括知乎图片抓取、聊天机器人对话模拟、唐诗作者 AI 分析、彩票随机生成、自动写检讨书、屏幕截图录制以及 GIF 动图制作。内容涵盖 Selenium 爬虫、NLP 分类算法、PIL 图像处理及 xlrd 办公自动化等技术点。所有代码均经过整理修复了常见语法错误与环境依赖问题,适合作为 Python 初学…

程序员离职删除代码注释在法律上存在侵权风险,因为代码及注释通常属于职务作品,归公司所有。恶意篡改可能导致故意毁坏财物或违反劳动合同。技术上,现代版本控制系统(如 Git)保留了完整的提交历史,使得删除或修改注释的行为极易被追溯和恢复。此外,这种行为违背职业操守,会影响个人行业声誉。建议开发者遵守交接规范,企业应加强代码管理和审计制度。

Python 广泛应用于 Web 开发、网络爬虫、人工智能、数据分析及自动化运维等领域。其简洁语法与丰富生态库使其成为初学者首选及工程落地的高效工具。详细解析了 Python 在各大技术场景中的具体应用框架、优势及典型代码示例,帮助开发者理解如何选择合适的技术栈进行项目构建。

Python 是一门简单易学且应用广泛的编程语言,适合初学者入门及多领域开发。涵盖基础语法环境搭建、函数与流程控制、实战项目如文件处理与 Web 开发,以及爬虫、数据分析、机器学习等职业发展方向。建议通过社区交流与开源项目持续精进,制定长期学习计划以掌握核心技能。