更新日志
- 2026/3/3，2.0 版本。前端导航栏改为侧边栏系统，视频流采用 WebSocket 框架降低延迟，YOLOv8/v11 视频流更稳定。在原有系统基础上增加了 LLM 大模型智能分析功能，支持 YOLOv8/v11 分类模型、目标检测、分割、OBB、关键点检测任务。支持双模型联合检测与识别，如人脸表情识别、人脸识别等需要检测模型与分类模型共同完成的任务。
在人脸表情识别中，单独使用检测模型识别人脸表情并非不可行，但存在一个潜在问题：如果数据集全是头部照片，当模型预测的照片是全身照时，识别准确率会下降。此时可用检测模型识别人脸，将人脸信息输入到表情分类模型进行分类。这是一个通用系统，更换自己的模型即可适配更多场景。
项目概述
在人工智能迈向通用化（AGI）的今天，'视觉感知 + 语言理解'的多模态联合是未来的趋势。单纯的检测画框已经无法满足复杂的业务需求，如何让系统'看懂'画面并进行'思考'，是当前视觉项目的重点。本项目将 YOLO 目标检测模型（兼容 YOLOv8/v11 系列）与 DeepSeek 等大语言模型（LLM）进行联合，使用 Django（后端）+ Vue3（前端）技术栈，完成一个具备'视觉感知 ➡️ 智能分析 ➡️ 对话问答'闭环的全能型 AI 视觉助手 Web 系统。这是一个通用的 Web 系统，可以更换自己的模型，兼顾科研、大作业、个人学习、毕设、工业等应用场景。
核心特性
- CV + LLM 视觉大语言模型：引入 DeepSeek 等大模型接口，YOLO 负责精准提取画面中的目标信息（如人数、物品、异常状态），LLM 负责接管数据并生成自然语言报告、安全预警或业务建议。系统内嵌 AI 智能助手聊天界面，用户可针对检测画面直接与大模型进行对话分析（例如问：'画面中有几个人没戴安全帽？应该采取什么措施？'）。
- 兼容单/双模型：支持单模型目标检测与图像分类，也支持双模型联合识别。如先由检测模型锁定关键区域（如人脸、车辆），再自动把检测结果输入到分类模型进行分类识别（如表情识别、车型分类），多维度标签前端实时渲染。
- 支持多种任务：目标检测、图像分类、实例分割、关键点姿态估计及旋转框检测 (OBB)。支持本地图片、视频流以及外接摄像头实时检测。
- 参数配置：前端支持切换模型，实时拖拽滑块调节置信度 (Confidence) 和交并比 (IoU)、结果保存等。
应用场景
通用的系统你只需替换自己的 .pt 权重文件即可，常见的任务如下：
- 智能情感陪伴与分析助手：YOLO 实时捕捉并识别面部表情，DeepSeek 大模型根据用户的情绪状态（如悲伤、焦虑）提供充满温度的对话疏导与陪伴。
- 智慧工地安全 AI 巡检系统：YOLO 负责安全帽/反光衣的实时违规抓拍，LLM 助手自动汇总当日违规数据，生成自然语言形式的'施工现场安全分析日报'。
- 智慧停车与自动计费管家：车辆与车牌检测模型联动识别，AI 助手接管数据，支持用户通过自然语言查询'某车牌号停了多久？需要缴纳多少费用？'
- 智能客服与异常行为监控系统：集成 AI 客服对话窗口，结合监控画面中的跌倒、打架等异常行为，大模型第一时间分析现场严重程度并生成处理预案。
目标检测任务
目标检测是应用最广的领域，结合大模型可实现'检测 + 智能业务预警'闭环。
- 智慧工地：基于深度学习的施工现场安全防护装备（安全帽、反光衣）规范检测系统。
- 智慧电网：无人机巡检视角下的输电线路绝缘子破损与异常目标检测。
- 智慧交通：复杂路况下的多目标车辆追踪与行人违规横穿斑马线检测。
- 智慧农业：自然光照环境下的农作物表面病虫害定位与目标检测。
- 森林防火：基于无人机航拍视角的林区火灾烟雾与早期火情智能检测。
- 工业质检：智能制造流水线上的金属（如钢材、铝板）表面缺陷（划痕、裂纹）检测。
