更新日志
- 2026/3/3，2.0 版本，前端导航栏改为侧边栏系统，视频流采用websocket框架延迟更低，YOLOv8/v11 视频流更稳定。在之前的系统增加 LLM 大模型智能分析，支持 YOLOv8/v11 分类模型、目标检测、分割、obb、关键点检测任务，还支持双模型联合检测与识别，如人脸表情识别、人脸识别等。
摘要
在人工智能迈向通用化（AGI）的今天，'视觉感知 + 语言理解'的多模态联合是未来的趋势。单纯的检测画框已经无法满足复杂的业务需求，如何让系统'看懂'画面并进行'思考'，是当前视觉项目的重点。本项目将 YOLO 目标检测模型（兼容 YOLOv8/v11 系列）与 DeepSeek 等大语言模型（LLM）进行联合，使用 Django (后端) + Vue3 (前端) 技术栈，完成一个具备'视觉感知 ➡️ 智能分析 ➡️ 对话问答'闭环的全能型 AI 视觉助手 Web 系统。这是一个通用的 Web 系统，可以更换自己模型，兼顾科研、大作业、个人学习、毕设、工业等应用场景。
简介
- CV + LLM 视觉大语言模型：引入 DeepSeek 等大模型接口，YOLO 负责精准提取画面中的目标信息（如人数、物品、异常状态），LLM 负责接管数据并生成自然语言报告、安全预警或业务建议。系统内嵌 AI 智能助手聊天界面，用户可针对检测画面直接与大模型进行对话分析。
- 兼容单/双模型：支持单模型目标检测与图像分类，也支持双模型联合识别。如先由检测模型锁定关键区域（如人脸、车辆），再自动把检测结果输入到分类模型进行分类识别（如表情识别、车型分类），多维度标签前端实时渲染。
- 支持多种任务：目标检测、图像分类、实例分割、关键点姿态估计及旋转框检测 (OBB)。支持本地图片、视频流以及外接摄像头实时检测。
- 参数配置：前端支持切换模型，实时拖拽滑块调节置信度 (Confidence) 和交并比 (IoU)、结果保存等。
常见的应用场景
通用的系统你只需替换自己的 .pt 权重文件即可，常见的任务如下：
- 智能情感陪伴与分析助手：YOLO 实时捕捉并识别面部表情，DeepSeek 大模型根据用户的情绪状态提供充满温度的对话疏导与陪伴。
- 智慧工地安全 AI 巡检系统：YOLO 负责安全帽/反光衣的实时违规抓拍，LLM 助手自动汇总当日违规数据，生成自然语言形式的'施工现场安全分析日报'。
- 智慧停车与自动计费管家：车辆与车牌检测模型联动识别，AI 助手接管数据，支持用户通过自然语言查询'某车牌号停了多久？需要缴纳多少费用？'
- 智能客服与异常行为监控系统：集成 AI 客服对话窗口，结合监控画面中的跌倒、打架等异常行为，大模型第一时间分析现场严重程度并生成处理预案。
目标检测任务
目标检测是应用最广的领域，结合大模型可实现'检测 + 智能业务预警'闭环。
- 智慧工地：基于深度学习的施工现场安全防护装备（安全帽、反光衣）规范检测系统。
- 智慧电网：无人机巡检视角下的输电线路绝缘子破损与异常目标检测。
- 智慧交通：复杂路况下的多目标车辆追踪与行人违规横穿斑马线检测。
- 智慧农业：自然光照环境下的农作物表面病虫害定位与目标检测。
- 森林防火：基于无人机航拍视角的林区火灾烟雾与早期火情智能检测。
- 工业质检：智能制造流水线上的金属（如钢材、铝板）表面缺陷（划痕、裂纹）检测。
- 海洋探索：水下机器人（ROV）视角的密集海洋生物（海参、海胆、海星）目标检测。
- 医疗辅助：基于医学影像（X光/CT）的肺部结节或骨折病灶区域智能筛查。
- 智能零售：无人超市复杂背景下的商品货架密集目标检测与盘点系统。
- 航空航天：遥感影像下的小目标飞机、机场设施与船舶精细化检测。
图像分类
- 中医药材：复杂背景下的中草药种类图像分类与智能分析（LLM 联动）。
- 植物科普：自然场景下的常见花卉、植物种类识别与百科科普系统。
- 环保回收：基于深度学习的智能垃圾分类（干垃圾、湿垃圾、可回收物）与指导系统。
- 农业病害：农作物（如玉米、番茄）叶片病害等级细粒度分类与用药建议（LLM 联动）。
- 生态保护：野生动物保护区红外相机捕捉下的珍稀动物种类识别与数量统计。
- 情绪感知：基于面部微特征的人脸情绪识别（愤怒、开心、悲伤）与心理状态评估。
- 医疗诊断：皮肤镜图像下的皮肤病变类型（如黑色素瘤、良性痣）分类筛查。
- 自动驾驶：全天候环境下的交通标志标牌（限速、禁行）高精度分类与识别。
- 遥感测绘：高分辨率卫星遥感图像的复杂场景（城市、水体、森林）地物分类。
- 智慧餐饮：自助餐厅计费系统中的菜品种类、烘焙糕点图像分类与营养分析。
关键点检测与姿态估计
关键点检测常常用在体育、医疗和行为分析领域。
- 智慧教育：智慧课堂监控下的学生上课行为（举手、趴桌）与疲劳姿态估计。
- 智慧养老 / 医疗：跌倒检测报警系统与康复训练中的人体骨骼姿态矫正评估。
- 体育竞技：基于关键点追踪的运动员动作规范性（如深蹲、投篮）AI 辅助分析。
- 疲劳驾驶：基于面部与身体关键点的驾驶员分心、打瞌睡危险动作实时监测。
- 智慧畜牧：养殖场内生猪、奶牛的姿态关键点提取与生病异常行为报警。
旋转目标检测
OBB 是近年学术界的重点方向，专治各种密集、倾斜目标。
- 遥感测绘：高分辨率遥感影像下的任意方向密集船舶与港口设施旋转框检测。
- 智慧城市：无人机俯视视角的密集停车场车辆任意角度倾斜检测。
- 精密制造：工业印刷电路板（PCB）密集微小电子元器件旋转缺陷检测。
- 智能物流：仓储流水线上的多角度堆叠包裹与倾斜条形码/二维码定位。
- 文本识别：复杂自然场景下多语言、多方向倾斜文本（OCR 前置）的旋转框检测。
目标分割
分割任务能实现像素级的精细轮廓提取，常用于需要精确计算面积、体积或进行精密抠图的场景。
- 医学影像辅助分析：显微镜下的细胞核实例分割，或 CT/MRI 影像中的肿瘤病灶像素级提取与面积评估。
- 自动驾驶与高精地图：复杂街景下的可行驶区域（道路、车道线）语义分割，以及行人、车辆的精细实例分割。
- 智慧农业与自动化采摘：果园复杂背景下的重叠果实（如苹果、草莓、番茄）精细实例分割，为采摘机械臂提供精准的轮廓和抓取点坐标。
- 遥感测绘与城市规划：高分辨率卫星航拍遥感影像中的建筑物（房屋轮廓）精准提取、水体面积监测与复杂路网分割。
- 工业精细化质检：精密制造表面（如太阳能电池板、布料、钢材）的微小裂纹、划痕、漏印等缺陷的像素级分割与缺陷面积计算。
- 智能美业与虚拟试衣：人物图像中的服装解析（精确分割上衣、裤子、鞋子、头发），实现精细的人体部位抠图与一键换装。
- 农作物表型与病害分析：自然光照下的植物叶片提取与病斑区域精确分割，通过像素对比精准计算病害占全叶的百分比（配合大模型输出用药量）。
- 海洋与水下探索：水下浑浊低光照环境下的珊瑚礁轮廓提取、海草床面积分割或珍稀鱼类精细抠图。
- 材料科学显微分析：金相显微镜或电子显微镜下的金属晶粒组织提取与微观结构材料的实例分割。
- 牙科医学智能诊断：X 光全景牙片中的独立牙齿实例分割，以及龋齿病灶区域、牙槽骨缺损区域的精准轮廓测量。
| 模块 | 界面演示 |
|---|---|
| 用户端—登录 | 图片已移除 |
| 用户端—注册 | 图片已移除 |
| 用户端 - 双模型检测任务 | 图片已移除 |
| 用户端—分类任务 | 图片已移除 |
| 用户端—关键点任务 | 图片已移除 |
| 用户端—人脸检测任务 | 图片已移除 |
| 用户端—摄像头检测 | 图片已移除 |
| 用户端—obb 旋转框任务 | 图片已移除 |
| 用户端—检测记录 | 图片已移除 |
| 用户端—AI 模块 | 图片已移除 |
| AI 助手模块 | 图片已移除 |
| 用户端—个人中心 | 图片已移除 |
| 用户端—修改密码 | 图片已移除 |
| 用户端—参数设置 | 图片已移除 |
| 管理端—历史数据管理模块 | 图片已移除 |
| 管理端—用户管理模块 | 图片已移除 |
| 管理端—新增用户 | 图片已移除 |
| 管理端—编辑页面 | 图片已移除 |
| 管理端—登录 | 图片已移除 |
YOLO 基础环境配置
PyCharm 实用小技巧
技巧 1：终端设置
环境配置（无需安装环境版）
运行环境：
