AirSim无人机仿真入门(一):实现无人机的起飞与降落

AirSim无人机仿真入门(一):实现无人机的起飞与降落
概述: 安装好所需要的软件和环境,通过python代码控制无人机进行起飞和降落。

参考资料:
1、知乎宁子安大佬的AirSim教程(文字教程,方便复制)
2、B站瑜瑾玉大佬的30天RL无人机仿真教程(视频教程,方便理解)
3、AirSim官方手册(资料很全,不过是纯英文的)

AirSim无人机仿真入门(一):实现无人机的起飞与降落

1 安装AirSim

1.1 参考教程

宁子安教程:(解密AirSim-初稿)第一章:初识AirSim

1.2 内容梳理

Epic Games是一家游戏公司,就像“腾讯游戏”或者“网易游戏”一样。Unreal Engine(简称UE)是 Epic Games 开发的一款游戏引擎。AirSim 是基于 Unreal Engine开发的一个模拟器,它主要用来模拟无人机(Drone)和自动驾驶汽车的运行环境。

1.3 步骤总结

以下仅是我个人的步骤总结,建议按照以上宁子安的“初识AirSim”教程一步一步安装。

  1. 安装Epic平台: 记得注册账号
  2. 下载UE: 点击Epic平台左边的 “虚幻引擎” 菜单,“库” 里面有不同的虚幻引擎版本,选择4.27.2版本进行安装,这个版本比较适配AirSim。
  3. 安装VS commuty2022: 记得勾选“C++桌面开发” “Windows 10 SDK 10.0.19041”,并在“单个组件”选项卡下选择最新的“.NET Framework SDK”
  4. 安装git bash工具
  5. 克隆AirSim工程: 进自己要安装AirSim的磁盘,git clone。进入目录build.cmd。编译好之后会在 “AirSim\Unreal” 文件夹中生成 “Plugins” 文件夹。这个 “Plugins” 文件夹非常重要。

检验虚拟引擎和AirSim是否安装成功: 使用AirSim自带的Block环境进行测试。

在这里插入图片描述


至此,AirSim 全部安装完成,下面可以直接使用 AirSim 做仿真了。

2 开始使用 AirSim

2.1 参考教程

宁子安教程:(解密AirSim-初稿)第二章:开始使用 AirSim

2.2 内容梳理

从虚幻商城选择一个场景创建工程,把AirSim作为插件导入这个工程中。

2.3 步骤总结

  1. 创建工程: 从虚幻商城中找到场景,创建工程,得到.uproject文件。
  2. 新建C++类: 双击.uproject文件进入关卡编辑器,新建C++类,等待编译完成(这一步耗时较长,而且要关注VS2022的左下角的编译进度),得到.sln文件,至此 “山脉景观” 场景工程创建完成。
  3. 添加AirSim插件: 复制“AirSim\Unreal\Plugins” 文件夹到“LandscapeMountains” 文件夹中。
  4. 修改文件: 修改 “LandscapeMountain.uproject”
    文件,修改“LandscapeMountains\Config\DefaultGame.ini” 文件。
  5. 创建VS工程: 右键点击 “LandscapeMountains.uproject” 文件,选择 “Generate Visual Studio project files” 选项,会生成 “.sln” 工程文件。
  6. 改成多旋翼模式: 把settings.json文件中的仿真模式改为多旋翼。
{"SettingsVersion":1.2, "SimMode":"Multirotor"}
  1. 进入工程: 双击打开 “LandscapeMountains.sln”,设置编译选项为 “DebugGame Editor” 和“Win64”,同时将 “LandscapeMountains” 设为启动项,点击 “调试” -> “开始调试”,或者直接点击 “本地Windows调试器”,这时会自动打开虚幻引擎的关卡编辑器。此时,虚幻引擎编辑器右下角出现了“新插件可用”的提示,说明虚幻引擎已经能够识别到AirSim 插件了。
  2. 设置游戏模式为AirSim: 在关卡编辑器中,将右侧 “世界场景设置” 中的 “游戏模式重载” 设置为“AirSimGameMode”,点击 “保存当前关卡”。
  3. 运行: 点击绿色三角开始仿真
在这里插入图片描述


至此 AirSim 插件已经加载到虚幻引擎场景工程中了。

3 撰写python控制程序

3.1 参考教程

宁子安教程:airsim详细教程(四) - 控制四旋翼起飞和降落(airsim api)

3.2 内容梳理

安装好python的运行环境,主要使用conda虚拟环境的python解释器,pycharm充当编辑器的作用。使用AirSim官方提供的python API,与无人机建立联系,控制无人机的起飞和降落。

3.3 步骤总结

  1. 安装Anaconda并创建环境: 创建虚拟环境,并在该环境中安装必需的包
 pip install msgpack-rpc-python pip install airsim 
  1. 安装pycharm: 安装了社区版,是免费的,目前功能够用。
  2. 创建工程: pycharm中创建一个新的python工程,解释器选择上面新建的conda环境中的python解释器:conda的安装路径\envs\airsim\python.exe
  3. 创建python文件: 在新建的python工程中新建一个python File,将下面的代码复制进去:
import airsim ​ # 与 AirSim 仿真器建立连接,并且返回句柄 client = airsim.MultirotorClient() client.confirmConnection() ​ # 获得控制权 client.enableApiControl(True) ​ # 解锁无人机 client.armDisarm(True) ​ # Async函数在执行的时候会立即返回.此时有可能任务还没执行完。在后面加上.join(),就可以让当前函数执行完才执行下一行 client.takeoffAsync().join() client.landAsync().join() ​ # 上锁 client.armDisarm(False)# 释放控制权 client.enableApiControl(False)

python与AirSim的通信机制: AirSim API 使用的是 TCP/IP 中的 msgpack-rpc 协议,可以用两台不同的电脑来做仿真,一台跑 AirSim 和 Unreal(仿真),另一台跑 python程序(算法)。当 AirSim 开始仿真的时候,会打开 41451 端口,并监听这个端口的需求。python 程序使用 msgpack serialization 格式向这个端口发送 RPC 包,就可以与AirSim进行通信了。如果41451 端口已经被其他程序使用了,那么可以通过 settings 文件改变AirSim使用的端口号。使用这种网络通信协议的方式,可以将 AirSim 和 python程序隔离,互不干扰。所以不需要修改 AirSim 的任何源代码,就可以满足非常多的仿真需求;而且即使python程序中断了,AirSim 的仿真也可以继续进行。示例:一台跑仿真,一台跑python程序

server_ip ="192.168.0.10"# 示例 IP 地址 port =41451 client = airsim.MultirotorClient(ip=server_ip, port=port)

运行代码: 在右上角点击绿色三角形运行python程序,仿真中的四旋翼会先起飞到一定高度,然后降落。

在这里插入图片描述

4 注意事项

问题: 我发现进行仿真的时候,我的UE界面没有显示三个摄像头的画面,跟原教程截图的不一样。

在这里插入图片描述

解决方法: 修改settings.json 文件打开无人机的三个摄像头窗口

"SubWindows":[{"WindowID":0, "ImageType":0, "CameraName":"front_center", "Visible": true}, {"WindowID":1, "ImageType":3, "CameraName":"front_center", "Visible": true}, {"WindowID":2, "ImageType":5, "CameraName":"front_center", "Visible": true}]

其中,ImageType 的值表示图像类型:

在这里插入图片描述


CameraName的值表示是哪一个相机:

在这里插入图片描述


在这里插入图片描述

至此,AirSim 环境已成功安装,并实现了使用 Python 程序控制无人机的功能。这可以视作 AirSim 入门的“Hello World”示例,后续的算法迁移正在进行中…

Read more

TWIST2——全身VR遥操控制:采集人形全身数据后,可训练视觉base的自主策略(基于视觉观测预测全身关节位置)

TWIST2——全身VR遥操控制:采集人形全身数据后,可训练视觉base的自主策略(基于视觉观测预测全身关节位置)

前言 我司内部在让机器人做一些行走-操作任务时,不可避免的需要全身遥操机器人采集一些任务数据,而对于全身摇操控制,目前看起来效果比较好的,并不多 * 之前有个CLONE(之前本博客内也解读过),但他们尚未完全开源 * 于此,便关注到了本文要解读的TWIST2,其核心创新是:无动捕下的全身控制 PS,如果你也在做loco-mani相关的工作,欢迎私我你的一两句简介,邀你加入『七月:人形loco-mani(行走-操作)』交流群 第一部分 TWIST2:可扩展、可移植且全面的人形数据采集系统 1.1 引言与相关工作 1.1.1 引言 如TWIST2原论文所说,现有的人形机器人远程操作系统主要分为三大类: 全身控制,直接跟踪人体姿态,包括手臂、躯干和腿部在内的所有关节以统一方式进行控制(如 HumanPlus [12],TWIST [1] ———— TWIST的介绍详见此文《TWIST——基于动捕的全身遥操模仿学习:教师策略RL训练,学生策略结合RL和BC联合优化(可训练搬箱子)》 部分全身控制,

NWPU VHR-10数据集 无人机遥感目标检测数据集 飞机 储罐 棒球场 网球场篮球场 港口车辆桥梁检测 遥感图像中的地理空间目标检测

NWPU VHR-10数据集 无人机遥感目标检测数据集 飞机 储罐 棒球场 网球场篮球场 港口车辆桥梁检测 遥感图像中的地理空间目标检测

NWPU VHR-10数据集 遥感数据集 NWPU VHR-10数据集是 10个类别地理空间目标检测的挑战性数据集,共650张图片。 YOLO和COCO格式 数据集按默认划分比例:390张训练集、130张验证集、130张测试集。 手动标注了757架飞机、302艘船只、655个储罐、390个棒球场、524个网球场、159个篮球场、163个田径场、224个港口、124座桥梁和598辆车辆。 📊 一、数据集总体信息 项目描述数据集名称NWPU VHR-10(Northwestern Polytechnical University Very High Resolution 10-class Dataset)任务类型遥感图像中的地理空间目标检测(Object Detection in Remote Sensing Images)图像总数650 张(均为高分辨率遥感图像,源自 Google Earth 等平台)图像分辨率约 600×600

小米 “养龙虾”:手机 Agent 落地,智能家居十年困局被撬开

小米 “养龙虾”:手机 Agent 落地,智能家居十年困局被撬开

3月6日,小米正式推出国内首个手机端类 OpenClaw Agent 应用 ——Xiaomi miclaw,开启小范围邀请封测。这款被行业与网友戏称为小米 “开养龙虾” 的新品,绝非大模型浪潮下又一款语音助手的常规升级,而是基于自研 MiMo 大模型、具备系统级权限、全场景上下文理解能力的端侧智能体。 作为深耕智能家居领域的行业媒体,《智哪儿》始终认为:智能家居行业过去十年的迭代,始终没能跳出 “被动执行” 的底层困局。而 miclaw 的落地,不止是小米在端侧 AI 赛道的关键落子,更是为整个智能家居行业的底层逻辑重构,提供了可落地的参考范本。需要清醒认知的是,目前该产品仍处于小范围封测阶段,复杂场景执行成功率、端侧功耗表现、第三方生态适配进度等核心体验,仍有待大规模用户实测验证。本文将结合具象场景、量化数据与多维度视角,客观拆解 miclaw 的突破价值、现实挑战,以及它对智能家居行业的长期影响。 01 复盘行业困局:智能家居十年 始终困在 “被动执行”

全面的System Verilog教程:从基础到高级验证

本文还有配套的精品资源,点击获取 简介:System Verilog是用于系统级验证、芯片设计与验证以及FPGA实现的强大硬件描述语言。它扩展了Verilog的基础特性,支持高级语言结构,如类、接口、任务和函数,优化了验证流程。教程内容涵盖System Verilog的基础概念、结构化编程元素、并发与同步机制、现代验证方法学、UVM验证方法论以及标准库的应用。旨在教授学生掌握System Verilog语法和高级特性,实现高效、可维护的验证代码。 1. System Verilog概述及应用领域 1.1 System Verilog的起源与发展 System Verilog是作为硬件设计和验证领域的重要语言,由Verilog发展而来,随后被进一步扩展以满足现代电子设计自动化的需要。其发展始于20世纪90年代,目的是在原有Verilog HDL的基础上,提供更为强大的设计验证功能。 1.1.1 Verilog与VHDL的区别 虽然Verilog和VHDL都是硬件描述语言(HDL),但它们在语法和使用方法上存在差异。Verilog更接近于C语言,而VHDL的语法结构则更接近