大疆无人机使用eport连接Jetson主板实现目标检测

大疆无人机使用eport连接Jetson主板实现目标检测

所需硬件设备如下:

在这里插入图片描述

实现原理:

  1. 视频流获取:从大疆无人机获取实时视频流。
  2. 数据传输:将视频流传输至 Jetson 平台。
  3. 目标检测处理:在 Jetson 上运行目标检测算法对传入的视频帧进行分析

EPort开发套件

大疆官网给出了 M350 RTK 飞行器与 EPort 连接的教程:
https://developer.dji.com/doc/payload-sdk-tutorial/cn/quick-start/quick-guide/jetson-nano.html

在这里插入图片描述

无人机与Eport连接图:

在这里插入图片描述

Jetson开发板

  • USB 转 TTL 串口模块: 此模块通常用于低级别的硬件调试和通信。在这个上下文中,它可能被用来与 E-Port开发者套件建立串行通信链路,以便发送命令或接收来自负载的数据
  • USB-C USB 连接线: 用于连接飞行器的调参接口,这允许用户对飞行器及其负载进行固件升级或者通过PC上的模拟器来进行测试。
  • Micro USB 连接线: 可能用于连接 Jetson Nano 和 E-Port 开发者套件,以实现数据传输或其他形式的通信。
  • USB-C OTG 转接线: OTG(On-The-Go)转接线可以让 Jetson Nano充当主机角色,从而连接其他USB设备。在这种情况下,它可能用于增强Jetson Nano与其他硬件组件之间的兼容性。
在这里插入图片描述
在这里插入图片描述


在这里插入图片描述
在这里插入图片描述

允许root用户登录

首先为 root 用户设置密码:

sudo passwd root 

随后使用设置 root 可使用 ssh 登录

sudo vim /etc/ssh/sshd_config 

在文件中找到这句代码:

#PermitRootLogin prohibit-password

将其改为:

PermitRootLogin yes 

随后重启ssh连接服务

sudo systemctl restart sshd 

更新软件库

sudo apt-get update sudo apt-get upgrade sudo apt-get install automake sudo apt-get install libaio-dev 

Opus安装

Opus 是一种开源的的音频编解码器,设计用于实时语音传输
首先下载opus的安装包,可以直接采用apt安装(推荐):

sudoapt-getinstall libopus-dev 

当然,也可以考虑使用源码文件安装,不用太纠结于版本,使用最新版即可:

https://github.com/xiph/opus/releases/tag/v1.5.2

在这里插入图片描述
#解压文件tar-xzvf opus-1.5.1.tar.gz cd opus-1.3.1/ autoreconf -f-i ./configure make-j16sudomakeinstall

检查是否安装成功,这里采用的是apt安装,其默认版本是1.3.1

 pkg-config --modversion opus 
在这里插入图片描述

FFmpeg安装

FFmpeg 是一个强大的开源音视频处理工具集,可以用来:
转换音视频格式(如 MP4 → AVIMP3 → WAV
剪辑、合并、分割视频
提取音频或封面图
实时推流(RTMPHLS),这里推荐使用apt安装

sudo apt-get install ffmpeg 

如果不行,可以采用源码安装

tar -zxvf ffmpeg-4.3.2.tar.gz ./configure --enable-shared make && make install 

使用如下命令检验是否安装成功

# 安装完成后检查 ffmpeg 是否安装  ffmpeg -version 
在这里插入图片描述

OpenCV、CUDA、cudNN配置

这里需要注意的是OpenCV的版本一定要在4.9以上,好吧,请直接从git上下载源码,安装的是4.13版本,亲测有效,4.94.11版本均不可用
git clone https://github.com/opencv/opencv.git

详情参照博主这篇博文:https://blog.ZEEKLOG.net/pengxiang1998/article/details/149073838

Jetson边缘计算主板:Ubuntu 环境配置 CUDA 与 cudNN 推理环境 + OpenCV 与 C++ 进行目标分类

在这里插入图片描述

这里Jetpack的版本找不到了,但其实并不影响,只会报一个warning而已

在这里插入图片描述

安装USB配置文件

libusb-1.0-0-dev 提供了在 Linux 上直接与 USB 设备进行通信所需的开发文件,通过这个包可以实现与 USB 设备通信

sudo apt-get install libusb-1.0-0-dev 

检查内核模块

使用如下命令即可:

# 确保usb gadget和usb转串⼝的驱动都装了# 检查 USB Gadget 相关模块  lsmod | grep usb 
在这里插入图片描述
USB Gadget 相关:通常会显⽰ libcomposite 等模块(这是 USB Gadget 功能的核⼼依赖)。USB 转串⼝相关:常⻅的模块包括: usbserial:通⽤ USB 转串⼝驱动框架
ftdi_sio:FTDI 芯片的驱动
pl2303:Prolific PL2303 芯片的驱动
cp210x:Silicon Labs CP210x 芯片的驱动
ch341:沁恒
CH340/CH341 芯片的驱动usb 转串⼝对应的设备是/dev/ttyUSB0

源码下载

将源码下载到如下地址,并将其解压,得到文件如下:

在这里插入图片描述

设置开机自启服务

设置开机自启服务:这是为了让无人机启动后既可以自动执行我们的导线追踪算法

切换到/home/laiease/Payload-SDK-master/目录下,使用root 权限将service文件安装到/etc/systemd/system⽬录下 :

sudomv djixunxian.service /etc/systemd/system/ 
在这里插入图片描述

随后切换到/home/laiease/Payload-SDK-master/jetson-usb/,然后将如下服务文件也移动到对应位置

在这里插入图片描述
sudomv jetsongadget.service /etc/systemd/system/ 

将对应的服务文件放置到系统路径下后,需要让 systemd “知道”有新的或更改的服务存在:

新建了一个服务(如 djixunxian.service)
修改了某个服务的配置文件(比如路径、启动命令、环境变量等)
# 重新加载systemd 其会让systemd 重新加载所有的服务单元配置文件(比如 .service 文件)sudo systemctl daemon-reload 

随后执行以下几个步骤进行设置自启:

# 允许两个服务开机⾃启  sudo systemctl enable djixunxian.service 

djixunxian.service 已成功启用开机自启

在这里插入图片描述
sudo systemctl enable jetsongadget.service 

jetsongadget.service 已成功启用开机自启

在这里插入图片描述
# 启动两个服务  sudo systemctl start jetsongadget.service sudo systemctl start djixunxian.service 

启动完成效果如下:

在这里插入图片描述

编译startup_bulk

切换到 jetson-usb 路径

cd /home/laiease/Payload-SDK-master/jetson-usb make 

效果如下:

在这里插入图片描述

项目编译

cd ./Payload-SDK-master mkdir build cd build make -j4 

重启服务,要先启动jetsongadget,然后再启动djixunxian

systemctl restart jetsongadget 
systemctl restart djixunxian 

检查服务状态

systemctl status djixunxian 

当然,也可以使用 journalctl | grep -i dji 查看状态:

推流正常:

在这里插入图片描述


推理正常:

在这里插入图片描述

推理效果如下:

在这里插入图片描述

报错处理

在启动服务时报错:

Process: 11087 ExecStart=/home/laiease/Payload-SDK-master/build/bin/dji_sdk_demo_linux_cxx (code=dumped, signal=ABRT) Main PID: 11087 (code=dumped, signal=ABRT)
在这里插入图片描述

这是由于USB_bulnk找不到导致的,当出现找不到USB0

首先检查USB转串口线是否正常接入:如果有这个,说明正常接入了

在这里插入图片描述

然后,使用 dmesg | tail -30 查看日志信息,当出现如下错误时:

[ 437.462906] ch34x 1-2.1:1.0: ch34x converter detected [ 437.468035] usb 1-2.1: ch34x converter now attached to ttyUSB0 [ 437.544924] usb 1-2.1: usbfs: interface 0 claimed by ch34x while 'brltty' sets config #1 [ 437.547686] ch34x ttyUSB0: ch34x converter now disconnected from ttyUSB0 

这说明
此时,CH340 设备插入,ch34x 驱动识别成功,创建了 /dev/ttyUSB0
但另一个服务 brltty(盲文终端支持)立即抢占了这个设备
❌ 导致 ch34x 驱动被强制断开,/dev/ttyUSB0 被销毁

解决方案:
停止并禁用 brltty

sudo systemctl stop brltty-udev.service sudo systemctl disable brltty-udev.service sudo systemctl mask brltty-udev.service 

随后卸载 brltty 模块

sudo modprobe -r brltty 

重新插拔 CH340 设备
拔掉 USB,等 2 秒,再插回去。
此时,再次执行如下命令

ls /dev/ttyUSB*

此时,应该就能够查看到ttyUSB0,如果还是看不到的话,可以尝试下载CH340驱动

git clone https://github.com/juliagoda/CH341SER.git 

随后切换到CH41SER目录

然后执行make命令

在这里插入图片描述
ls/dev/ttyUSB* 
在这里插入图片描述

完整的执行过程:

在这里插入图片描述

此时USB bulk便可以了

Read more

机器人交叉CCF会议推荐

一、IROS(IEEE/RSJ International Conference on Intelligent Robots and Systems) 1. 基本信息 * 全称:IEEE/RSJ International Conference on Intelligent Robots and Systems * 简称:IROS * 创办时间:1988 年 * 举办频率:每年一次(通常在秋季) * 主办单位: * IEEE Robotics and Automation Society(IEEE RAS) * Robotics Society of Japan(RSJ) 2. 学术定位 IROS 是全球机器人领域最重要的顶级国际会议之一,强调“智能机器人系统”

手把手教程:用LingBot-Depth快速搭建机器人抓取感知系统

手把手教程:用LingBot-Depth快速搭建机器人抓取感知系统 1. 引言 你有没有想过,为什么家里的扫地机器人有时候会卡在椅子腿旁边,或者对着地上的拖鞋犹豫半天?又或者,为什么工业流水线上的机械臂,偶尔会把零件抓歪甚至掉在地上? 这背后一个关键原因,是机器人“看”得不够清楚。 机器人不像我们人类,用眼睛就能轻松判断物体的远近、形状和位置。它们依赖深度相机——一种能测量每个像素点距离的设备。但问题来了,深度相机拍出来的原始数据,就像一张布满雪花点和空洞的模糊照片。物体边缘不清晰,反光表面一片空白,远处细节完全丢失。用这样的“视力”去抓取物体,就像让你蒙着一层磨砂玻璃去拿东西,成功率可想而知。 今天,我要带你解决的就是这个核心痛点。我们将用一个叫 LingBot-Depth 的模型,给机器人的深度视觉做一次“高清修复”。它能将粗糙、不完整的原始深度图,转换成清晰、完整、精确的3D地图。有了这副“高清眼镜”,你的机器人才能真正“看清”世界,稳稳地抓住目标。 这篇教程,我会用最直白的方式,

智能家居笔记Home-Assistant+小智AI

智能家居笔记Home-Assistant+小智AI

设备框架图 概述: 总体而言借用各种开源项目,致力做到好用可控。输入设备小智AI作为用户前端,后端用小智AI华南理工开源服务器。智能家庭中控采用树莓派5搭载HAOS,用homeassistant,包括手机APP。各种终端设备,支持zigbee通信协议,wifi通信协议,小米设备支持milot的设备可以连接,其他类似美的海尔的设备也看home assistant的插件支持程度,没有本身开源的使用舒适。 主机: thinkpad-S5-yoga 地址xxxxxxxxxxxxx 用户:xxxxxxxxxxx 服务备注服务端口frigate5000sambamnt/media/usbsharehttp/mnt/usb_share/podcast10086mediamtx.servicexxxxxxxxxxx8554napcatkoimilocomicamxxxxxxxxxxxxxxastra-color.servicezaokafei-fetch.timer/mnt/usb_share/podcast/zaokafeibambucam.serviceDesktop/bambustud

3、超越CRUD:用JeecgBoot低代码模式,一天搭建功能完备的请假审批系统

3、超越CRUD:用JeecgBoot低代码模式,一天搭建功能完备的请假审批系统

超越CRUD:用JeecgBoot低代码模式,一天搭建功能完备的请假审批系统 引言:低代码革命与JeecgBoot的崛起 在当今快速变化的商业环境中,企业应用开发的传统瓶颈日益凸显:开发周期长、成本高、对专业开发人员依赖度强、难以快速响应业务变化。根据Forrester Research的报告,超过60%的企业应用开发项目存在延期交付问题,而低代码开发平台正成为解决这一困境的关键技术。 JeecgBoot作为国内领先的Java低代码开发平台,凭借其强大的代码生成能力和可视化开发工具,让开发者能够以惊人的速度构建企业级应用。本文将通过一个完整的“请假审批系统”实战案例,深入解析JeecgBoot的低代码核心原理,并展示如何在一天内完成一个功能完备的后台系统开发。 一、JeecgBoot低代码架构深度解析 1.1 JeecgBoot整体架构概览 JeecgBoot采用经典的前后端分离架构,但其核心价值在于提供了一系列可视化低代码工具,大幅降低了开发门槛。下面的架构图展示了JeecgBoot的核心组件及其协作关系: 这种架构设计的核心优势在于分层解耦和工具集成。Jeecg