项目概述
本系统整合改进版 YOLO 目标检测模型与大语言模型（LLM）能力，构建河道环境智能巡检方案。系统采用计算机视觉与自然语言处理相结合的技术路线，支持单张图片、批量图片、视频文件及实时摄像头等多种输入方式，提供从环境检测到智能建议的完整解决方案。
核心特性
- 多场景检测：覆盖静态图片、文件夹批量、视频流及实时摄像头的多种输入模式。
- 模型优化：基于 YOLOv5/v8/v11 等版本的改进架构，针对河道环境目标进行专项优化。
- AI 分析集成：结合 DeepSeek/Qwen 等大模型接口，生成专业的环境分析与治理建议。
- 实时反馈：前端实时展示检测进度与结果，支持 MJPEG 视频流预览。
- 全栈架构：PyTorch 深度学习 + SpringBoot 后端 + Vue3 前端 + Flask 中台的混合技术栈。
检测对象范围
系统可精准识别河道环境中的多种目标，包括但不限于：
- 漂浮物与垃圾：塑料瓶、塑料袋、泡沫等水面漂浮物。
- 水生植物：水葫芦、藻类、水草等过度生长情况。
- 污染物：油污、化学污染物、浑浊水体等。
- 河道设施：护岸、堤坝、桥梁、排污口等设施状态。
- 生物目标：鱼类、鸟类及其他水生生物。
- 船只与人员：作业船只、巡逻船只、河道作业人员。
- 异常行为：非法排污、违规捕捞、河道侵占等行为。
系统架构设计
系统采用三层架构设计，确保高可用性与扩展性。
1. 前端展示层
基于 Vue3 与 Element Plus 构建用户交互界面，支持多种检测模式选择、实时结果可视化展示以及历史记录管理查询。
2. 业务逻辑层
- Spring Boot：负责用户管理、数据存储及核心业务逻辑处理。
- Flask 中台：承担深度学习模型调用、图像处理及 AI 分析接口服务。
- 任务调度：实现异步任务调度与进度管理。
3. 深度学习层
- 改进 YOLO 模型：河道环境专用目标检测模型。
- 推理服务：高效处理图像与视频检测任务。
- 模型优化：支持模型重训练与动态更新。
功能模块详解
多模式检测
单张图片检测 支持拖拽上传或文件选择，处理流程涵盖上传、检测、结果展示与建议生成。输出包含标注后的图片、检测标签、置信度及处理耗时，过程中实时显示进度。
图片文件夹批量检测 利用 JSZip 支持整个文件夹压缩上传，后台自动解压并逐张检测。实时跟踪批量处理进度，完成后提供结果打包下载。
视频文件检测 支持 MP4、AVI、MOV 等常见格式。采用逐帧检测与标注方式，输出带标注框的视频文件。通过 FFmpeg 进行转码与保存，支持 MJPEG 实时流预览。
实时摄像头检测 接入 USB 或网络摄像头，实现视频流实时检测与标注显示。支持检测过程录像保存为视频文件，经优化处理后确保低延迟。
AI 智能分析
环境状况分析 自动统计各类检测目标的数量与分布，基于检测结果评估河道污染程度，并结合历史数据分析环境变化趋势。
智能建议生成 利用大模型生成河道治理与保护建议。发现严重污染或异常情况时自动生成预警信息，推荐具体的清理、治理及监控措施，并可导出分析报告。
