
基于 LLaMA-Factory 微调与 vLLM 部署的大语言模型实战
在 AutoDL 环境中利用 LLaMA-Factory 对 Qwen1.5-4B-Chat 进行微调,并通过 vLLM 实现高效推理。流程涵盖环境配置、数据集准备、WebUI 参数调整及模型导出。针对 vLLM 启动时显存预分配导致的 OOM 问题,提供调整最大序列长度的解决方案。最后通过 Streamlit 搭建本地聊天界面,验证微调后模型的对话能力,并…
博客作者
菩提本无树
364
已发布文章
12K
博客获赞
803K
博客浏览
第 2 页

在 AutoDL 环境中利用 LLaMA-Factory 对 Qwen1.5-4B-Chat 进行微调,并通过 vLLM 实现高效推理。流程涵盖环境配置、数据集准备、WebUI 参数调整及模型导出。针对 vLLM 启动时显存预分配导致的 OOM 问题,提供调整最大序列长度的解决方案。最后通过 Streamlit 搭建本地聊天界面,验证微调后模型的对话能力,并…
ChatGLM3-6B-128K 模型支持 128K 上下文,适合长文本处理。通过 Ollama 工具可快速本地部署,无需复杂环境配置。文章详解了模型优势、三步部署流程及五大写作应用场景,包括技术文档速写、营销文案生成、邮件润色等。同时提供避坑指南和性能调优建议,帮助用户利用 AI 提升写作效率,实现从单点工具到协同创作的进化。
OpenClaw 部署飞书机器人涉及环境搭建、API 配置及插件集成。首先安装 Node.js 并全局安装 OpenClaw,准备 GLM API 密钥。其次在飞书开放平台创建应用,配置长连接回调及权限。随后安装飞书插件,设置 App ID 和 Secret 等环境变量。最后启动网关服务并通过控制面板完成密钥绑定,实现大模型驱动的飞书自动化交互。需注意本地部…
Retinaface 负责高精度人脸检测与关键点定位,CurricularFace 提供高区分度特征向量,两者结合可实现本地化身份核验。方案无需依赖云 API,数据全在本地处理,适合对隐私敏感的场景。通过调整相似度阈值可平衡误识率与拒真率,支持网络图片直连及批量验证。需注意图像质量对结果影响显著,且该方案不含活体检测能力,适用于辅助核验而非金融级认证。

人工智能技术正深度重塑医疗行业,从疾病预测到远程监测,AI 贯穿诊疗全流程。梳理了十大核心应用场景,涵盖机器学习、深度学习及 NLP 等关键技术落地方案。结合具体代码示例,解析 AI 产品经理在医疗数字化转型中的角色价值,探讨如何平衡技术创新与合规要求,为从业者提供实战参考。
AMD 显卡部署 llama.cpp 面临驱动与配置挑战。本文提供 Vulkan 后端编译方案、内存分配策略及核心参数调优方法。涵盖 RX 6000/7000 系列差异化设置、常见故障排查(如 vkCreateInstance 错误)及 ROCm 监控脚本。实测显示合理配置可显著提升推理速度,适合本地 AI 部署场景。
OpenClaw 飞书机器人默认需@触发回复。若要实现群消息免@自动监听,需在 openclaw.json 中将 requireMention 设为 false,并在飞书开放平台申请 im:message.group_msg 敏感权限。权限审批通过后重新发布应用即可生效。推荐使用 WebSocket 模式,Webhook 模式需额外配置验证参数。

RESTful API 是一种基于表现层状态转移的软件架构风格,强调使用名词表示资源、HTTP 方法表示动作以及无状态通信。详细讲解了 RESTful 的核心规范,包括资源 URI 设计、HTTP 方法选择、查询参数处理、版本控制及响应状态码。同时介绍了六大架构约束,并结合 Spring Boot 代码示例展示了如何在实际开发中应用这些规范。此外,还探讨了利…

LLaMA Factory 大模型微调全流程实战指南。内容涵盖环境搭建、数据集格式规范、SFT 训练配置、LoRA 合并与量化策略、推理引擎选择及模型评估方法。通过命令行与 WebUI 双模式演示,详解多模态支持与批量推理实现,助力开发者高效完成大模型本地化部署与优化。

前端 PDF 预览涉及多种技术路径,从原生标签到第三方库再到服务端渲染。原生方案如 embed 和 iframe 适合快速原型,但样式控制弱;PDF.js 提供深度定制能力,支持文本层和 WebGL 加速,适合企业级应用;React-pdf-viewer 等封装库能显著降低集成成本。云服务方案便捷但有隐私风险,服务端转图则增加服务器负载。选型需权衡性能、安全…
Minecraft RCON Web 控制台基于 PHP 和 Bootstrap 技术栈,为服务器管理员提供网页操作界面。核心功能包括实时命令交互、历史记录保存及多设备适配。部署需先在 server.properties 中启用 RCON 并配置端口密码,随后将项目部署至 Web 服务器。安全性方面建议配置 HTTP 基本认证、IP 白名单及 HTTPS 传…
针对手机检测系统上传失败问题,智能重试机制与 WebUI 体验优化方案。通过错误分类与友好提示、分级重试策略、断点续传及网络状态感知,解决了上传失败反馈不明确、重试体验差等问题。同时优化了上传界面设计,支持拖拽、粘贴上传及历史记录,增强了移动端适配。实测数据显示,弱网环境下上传成功率提升 27%-33%,操作时间减少 50%。这些细节改进显著提升了系统可用性…
Cursor 基于 VS Code 内核,配置代理需修改 Http: Proxy 设置或环境变量。推荐直接在设置中填写本地代理地址(如 http://127.0.0.1:7890),并将 HTTP 协议降级为 HTTP1.1 以兼容部分网络环境。验证配置时建议手动切换至需要外网访问的模型(如 Claude 或 GPT)进行测试,而非依赖内置诊断工具。环境变量…

AI Agent 架构围绕感知、决策、执行与记忆四大模块构建。核心决策模式包括 ReAct、Plan-and-Execute 及 Pre-Act,分别适用于不同复杂度场景。实现需注重工具设计、记忆管理及错误处理。没有最优架构,只有最适合场景的架构。
OpenCode 结合 GitHub Copilot 提供 Claude Code 替代方案。通过 Copilot 账户可调用 Claude、GPT、Gemini 等顶级模型,月费约 10 美元即可享受高级请求配额及代码补全功能,解决了海外支付难及 API 成本高的问题。该组合具备终端、IDE 插件及桌面端支持,且注重隐私保护,适合追求生产力与性价比的开发者…

电商产品 AI 绘画提示词撰写指南涵盖产品基础描述、风格化描述、细节限定及常见错误规避。通过明确产品类型、场景与视觉风格,结合光影色彩调整与精准限定词,可有效提升生成图片质量。实例展示服饰与数码类提示词结构,强调避免模糊表述与冲突指令,利用反向提示词优化结果。

HTTP 状态码 404、405、500 是前后端交互中最常见的异常。从网络面板定位入手,分场景解析资源未找到、方法不允许及服务器内部错误的成因。涵盖前端代理配置、后端路由匹配、跨域预检处理及 Nginx 转发等全链路排查步骤,提供 Node.js、Java 及 Nginx 代码示例,帮助开发者快速定位问题根源并修复接口异常。

sherpa-onnx 是一个开源的语音推理部署框架,旨在解决模型到部署的工程鸿沟。它支持将 Whisper、Moonshine、SenseVoice 等多种语音模型统一转换为 ONNX 格式,实现跨平台离线运行。覆盖 ASR、TTS、VAD 等 12 项功能,适配 Android、iOS、WebAssembly 及多种嵌入式设备,并提供 NPU 加速方案。…
针对宇树 G1 机器人,介绍在 Ubuntu 20.04 环境下使用 ROS1 和 FAST_LIO 算法进行建图的完整流程。涵盖系统依赖安装、工作空间创建、Open3D 库配置、Livox 雷达驱动安装及参数设置。通过配置雷达 IP 地址与坐标系,启动 ROS 核心并运行建图与可视化终端,实现点云地图构建。

程序固化实验 MPSOC启动概述 a)MPSOC的系统启动过程由平台管理单元(Platform Management Unit,PMU)和配置安全单元(Configuration Security Unit,CSU)管理和执行。启动过程包括三个功能阶段:预配置阶段、配置阶段、后配置阶段。 b)预配置阶段由平台管理单元PMU控制。 1)平台管理单元运行PMU…