基于 YOLOv8/v11 与 LLM 的 Web 视觉检测系统 (Django+Vue3)

关键点检测与姿态估计

常用于体育、医疗和行为分析领域：

• 智慧教育：学生上课行为与疲劳姿态估计。
• 智慧养老：跌倒检测报警与康复训练姿态矫正。
• 体育竞技：运动员动作规范性 AI 辅助分析。
• 疲劳驾驶：驾驶员分心、打瞌睡危险动作监测。

旋转目标检测 (OBB)

专治各种密集、倾斜目标，适用于学术研究与高端场景：

• 遥感测绘：任意方向密集船舶与港口设施检测。
• 智慧城市：无人机俯视视角的车辆倾斜检测。
• 精密制造：PCB 微小电子元器件旋转缺陷检测。
• 文本识别：复杂自然场景下倾斜文本定位。

目标分割

实现像素级的精细轮廓提取，用于精确计算面积或体积：

• 医学影像：细胞核或肿瘤病灶像素级提取。
• 自动驾驶：可行驶区域语义分割与行人精细分割。
• 智慧农业：重叠果实精细实例分割，为机械臂提供抓取点。
• 工业质检：微小裂纹、划痕的像素级分割与面积计算。

环境配置

运行环境

• Python: 3.8+
• Node.js: 16+
• Database: MySQL 5.7+
• Framework: Django, Vue3

前端环境配置

1. 安装 pnpm：推荐使用 pnpm 作为包管理器，提升依赖安装效率。
2. 核心配置：修改 .env 文件配置 API 地址与环境变量。
3. 启动服务：执行 pnpm install 后运行 pnpm run dev。

后端环境配置

1. 虚拟环境：创建 Python 虚拟环境并激活。
2. 依赖安装：安装 requirements.txt 中的依赖包。
3. 数据库迁移：执行 python manage.py migrate。

项目结构与使用

模型集成说明

系统支持加载本地训练的 .pt 权重文件。若需使用自定义模型，请确保模型输出格式符合 YOLO 标准。对于双模型任务，需在配置文件中指定检测模型与分类模型的权重路径，系统会自动串联推理流程。

前后端启动方法

1. 后端启动：进入后端目录，执行 python manage.py runserver 0.0.0.0:8000。
2. 前端启动：进入前端目录，执行 pnpm run dev。
3. 连接测试：浏览器访问前端地址，检查 WebSocket 连接状态。

YOLO + LLM 联动配置

1. AI 助手配置：在后台设置中填入大模型 API Key。
2. 场景示例：
   • 垃圾分类：YOLO 识别垃圾类型，LLM 给出处理建议。
   • 人脸表情：YOLO 识别人脸，表情分类模型判断情绪，LLM 生成反馈。
   • 中草药识别：YOLO 定位药材，LLM 输出药性介绍。

Django 后台管理系统开发

管理员账户

使用 createsuperuser 命令创建超级管理员账号。

SimpleUI 配置

系统内置 SimpleUI 主题，常用配置如下：

1. 关闭右侧广告：在 settings 中禁用相关插件。
2. 修改站点名称：配置 SITE_TITLE。
3. 菜单定制：通过 SimpleUIConfig 添加自定义菜单。
4. 图标优化：支持 FontAwesome 图标嵌入。

自定义模块

1. 子应用集成：将业务逻辑封装为独立 App 注册至后台。
2. 头像显示修复：调整 Media 路径配置以解决静态资源加载问题。

总结

本系统提供了一个完整的视觉 + 语言多模态解决方案，从底层模型推理到上层交互界面均经过优化。通过模块化设计，开发者可以快速替换模型以适应不同行业需求，是科研与工程落地的理想基座。