摘要
针对低空复杂三维环境下无人机自主飞行的安全与路径优化问题，本文提出一种基于 Q-learning 强化学习的无人机导航与避障方法。该方法在离散化三维空间环境中构建包含静态障碍与动态移动障碍的飞行场景，通过设计严格的安全距离约束机制保证飞行安全性，构建兼顾目标趋近、路径精简与安全规避的奖励函数引导策略学习，采用衰减式探索 - 利用策略实现算法稳定收敛。仿真结果表明，所提方法能够在满足最小安全距离的前提下，有效规避静态与动态障碍，自主规划出从起点到目标点的无碰撞飞行路径，同时具备较好的动态环境适应性与决策稳定性，可为三维空间内无人机自主导航任务提供可靠的技术支撑。
关键词
Q-learning；无人机；三维路径规划；动态避障；强化学习；安全约束
1 引言
1.1 研究背景与意义
随着无人机技术在巡检、测绘、应急救援、物流配送等领域的广泛应用，其对自主导航能力的要求不断提升。在城市楼宇、林区、复杂设施等真实场景中，无人机通常需要在三维空间内同时面对固定障碍物与移动障碍物，传统依靠人工遥控或预设航线的飞行方式难以应对环境不确定性，易发生碰撞风险。因此，实现无人机在三维动态环境下的实时感知、自主避障与最优路径规划，是提升无人机智能化水平与作业安全性的关键。
传统路径规划方法如 A*、Dijkstra、RRT 等多依赖环境先验地图，在动态障碍出现或环境发生实时变化时，重规划效率低、适应性差。强化学习方法通过智能体与环境不断交互试错，自主学习最优决策策略，无需精确环境模型，在动态、未知场景中展现出显著优势。其中 Q-learning 作为经典无模型强化学习算法，结构简洁、稳定性强，适合用于无人机连续状态下的动作决策与避障导航任务。
1.2 国内外研究现状
目前，基于强化学习的无人机避障研究多集中在二维平面环境，对三维空间的拓展仍存在状态空间复杂、动作决策维度高、安全约束难以量化等问题。部分现有方法仅考虑静态障碍，对动态移动目标的避让逻辑较为简单，缺乏严格的安全距离约束；另有方法虽实现三维避障，但奖励函数设计单一，易出现路径冗余、收敛速度慢等问题。
综合现有研究不足，本文构建完整的三维动态飞行环境，融合静态障碍与双向移动动态障碍，设置硬性安全距离约束，设计分层多目标奖励函数，基于 Q-learning 实现无人机端到端自主导航，提升算法在动态复杂环境下的实用性与安全性。
1.3 本文主要工作
- 构建 12×12×12 尺度的三维离散化飞行环境，设置多位置分布的静态球形障碍与两组可自主反向移动的动态障碍，建立贴近真实低空场景的仿真环境。
- 设计严格的安全距离约束规则，在动作决策前进行有效性筛选，从源头避免无人机与边界、静态障碍及动态障碍发生碰撞。
- 优化 Q-learning 学习策略与奖励函数，引入衰减式探索概率平衡探索与利用，通过趋近奖励、步数惩罚、终点激励与失败惩罚引导无人机快速学习最优路径。
- 完成算法训练、最优路径提取与三维可视化验证，从收敛性能、路径长度、飞行步数、避障效果等方面验证方法有效性。
2 三维无人机飞行环境建模
2.1 三维空间环境构建
本文采用立方体空间作为无人机飞行区域，空间在三个维度上进行均匀离散化，形成结构化网格环境。为防止无人机越界，设置合理的有效飞行范围，将边界区域设为禁飞区，无人机在任意时刻均不允许超出该范围，保证飞行空间约束的一致性。
2.2 无人机本体模型
将无人机简化为具有固定体积的球形刚体模型，在路径规划与碰撞检测中以等效半径表征其空间占用。无人机初始位置与目标终点位置在环境中预先设定，飞行过程中以离散步长进行位置更新，每一步执行一个动作并更新空间坐标。
2.3 静态障碍设置
环境中布置多组静态障碍，均以固定球体形式分布在三维空间内不同位置，障碍位置与尺寸在整个训练与飞行过程中保持不变。静态障碍模拟建筑物、山体等固定障碍物，是无人机在飞行中必须持续规避的基础约束。
2.4 动态障碍设置
为提升环境真实性与算法适应性，在三维空间中引入动态移动障碍。动态障碍同样以球体形式表示，具备初始位置与固定移动方向，在移动过程中若接触静态障碍或环境边界，会自动沿原路径反向运动，形成往复移动模式。动态障碍的存在使环境具有时变性，要求无人机具备实时感知与在线重决策能力，更贴近实际低空动态场景。
2.5 安全约束定义
为保证无人机飞行安全，设置最小安全距离约束。该约束为硬性安全指标，要求无人机在飞行过程中，与静态障碍、动态障碍之间必须保持不低于设定值的距离。在算法执行过程中，任何可能导致安全距离不满足要求或超出环境边界的动作均被视为无效动作，从决策层面杜绝碰撞与越界行为。
3 基于 Q-learning 的避障导航算法设计
3.1 Q-learning 算法基本框架
Q-learning 是一种基于价值迭代的无模型强化学习算法，其核心是通过学习状态 - 动作价值函数，指导智能体在不同状态下选择最优动作。算法通过不断与环境交互获得奖励反馈，逐步更新价值函数，最终收敛得到最优策略。
