基于 YOLO 与 LLM 的 Web 视觉分析系统（Django+Vue3）

基于 YOLO 与 LLM 的 Web 视觉分析系统

项目概述

在人工智能迈向通用化的今天，单纯的'视觉感知'已难以满足复杂业务需求。将目标检测模型与大语言模型（LLM）结合，实现从'看懂画面'到'智能分析'的闭环，是当前视觉项目的重点趋势。

本项目采用 Django（后端）+ Vue3（前端）技术栈，构建了一个具备实时视频流处理、多模态任务支持及自然语言交互能力的 AI 视觉助手 Web 系统。系统兼容 YOLOv8/v11 系列模型，支持单模型检测或双模型联合推理（如先检测人脸再识别表情），并集成 DeepSeek 等大模型接口进行数据解读与报告生成。

核心功能特性

1. 多任务支持

系统不仅限于基础的目标检测，还覆盖了计算机视觉的主流任务：

• 目标检测：精准定位画面中的物体，如人员、车辆、安全帽等。
• 图像分类：对特定区域或整体图像进行类别判定，如药材种类、病害等级。
• 实例分割：像素级提取目标轮廓，适用于面积计算或精细抠图场景。
• 关键点姿态估计：用于行为分析，如跌倒检测、动作规范性评估。
• 旋转框检测 (OBB)：针对倾斜目标（如船舶、文字）的高精度检测。

2. 双模型联合推理

为了解决单一模型在特定场景下的准确率瓶颈，系统支持双模型联动。例如在人脸表情识别中，先用检测模型锁定人脸区域，再将裁剪后的图像输入表情分类模型。这种架构同样适用于车型分类、工业缺陷细分等需要'定位 + 识别'的任务。

3. 实时性与交互

• 低延迟视频流：前端导航栏改为侧边栏布局，视频流采用 WebSocket 框架传输，显著降低延迟。
• AI 智能助手：内嵌聊天界面，用户可直接针对检测画面提问（如'画面中有几个人没戴安全帽？'），大模型接管数据并生成自然语言建议。
• 参数灵活配置：前端支持实时切换模型，拖拽滑块调节置信度 (Confidence) 和交并比 (IoU)，结果可保存导出。

典型应用场景

系统通过替换 .pt 权重文件即可适配不同领域：

1. 智慧工地安全巡检：YOLO 抓拍违规行为，LLM 自动生成日报与安全预警。
2. 医疗辅助诊断：医学影像病灶筛查与病理分析，配合大模型提供初步建议。
3. 智慧农业与环保：农作物病虫害定位、垃圾分类识别及生态监测。
4. 工业质检：流水线表面缺陷（划痕、裂纹）的像素级分割与统计。
5. 智能客服与安防：异常行为（跌倒、打架）监控与自动预案生成。

技术架构与部署

环境配置

• 后端：Python 环境，依赖 Django 框架及 PyTorch 深度学习库。
• 前端：Node.js 环境，使用 Vue3 + TypeScript + pnpm 管理依赖。
• 数据库：MySQL 存储用户信息与检测记录。

启动流程

1. 后端初始化：配置 settings.py 中的数据库连接，运行 python manage.py migrate 初始化表结构。
2. 前端构建：安装 pnpm，执行 pnpm install 后启动开发服务器。
3. 模型加载：将训练好的权重文件放入指定目录，确保路径配置正确。