Ubuntu20.04 + ROS Noetic + Gazebo 实现 UR5 机械臂视觉抓取乐高积木仿真

2.5 安装 pip3

sudo apt install python3-pip -y

3. 创建工作目录

3.1 打开终端

按 Ctrl + Alt + T 打开终端。

3.2 创建项目文件夹

我们在用户主目录下创建一个名为 UR5-Pick-and-Place 的文件夹：

cd ~
mkdir UR5-Pick-and-Place
cd UR5-Pick-and-Place

3.3 确认当前位置

pwd

应该输出：/home/你的用户名/UR5-Pick-and-Place

4. 下载项目源码

4.1 方法一：使用 git clone（推荐）

cd ~/UR5-Pick-and-Place
git clone https://github.com/pietrolechthaler/UR5-Pick-and-Place-Simulation.git

⚠️ 如果网络不好，可能会克隆失败，请使用方法二。

4.2 方法二：手动下载 ZIP 文件

1. 打开浏览器，访问：https://github.com/pietrolechthaler/UR5-Pick-and-Place-Simulation
2. 点击绿色的 Code 按钮
3. 点击 Download ZIP
4. 将下载的 UR5-Pick-and-Place-Simulation-main.zip 文件复制到 ~/UR5-Pick-and-Place/ 目录
5. 解压文件：

cd ~/UR5-Pick-and-Place
unzip UR5-Pick-and-Place-Simulation-main.zip

4.3 确认文件结构

ls ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/

应该看到以下内容：

catkin_ws/ intro.gif LICENSE main.png README.md

5. 编译 catkin 工作空间

5.1 进入 catkin 工作空间

cd ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws

5.2 设置 ROS 环境变量

source /opt/ros/noetic/setup.bash

5.3 编译工作空间

catkin build

编译过程大约需要 2-3 分钟，你会看到类似以下输出：

---------------------------------------------------------------- Profile: default Extending: [cached] /opt/ros/noetic Workspace: /home/xxx/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws ---------------------------------------------------------------- ... [build] Summary: All 21 packages succeeded!

⚠️ 如果出现警告（Warning）是正常的，只要最后显示 All xx packages succeeded! 就表示编译成功。

5.4 设置工作空间环境变量

source devel/setup.bash

5.5 （可选）将环境变量添加到 bashrc

为了避免每次打开终端都要手动 source，可以将其添加到 ~/.bashrc：

echo "source ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws/devel/setup.bash" >> ~/.bashrc

6. 安装 YOLOv5

6.1 进入用户主目录

cd ~

6.2 克隆 YOLOv5 仓库

git clone https://github.com/ultralytics/yolov5

⚠️ 如果网络不好，可以手动下载 ZIP 文件：访问 https://github.com/ultralytics/yolov5 下载 ZIP 文件解压到 ~/yolov5/ 目录（注意：目录名必须是 yolov5，不能是 yolov5-master）

如果下载的是 ZIP 文件，解压后需要重命名：

cd ~
unzip yolov5-master.zip
mv yolov5-master yolov5

6.3 确认 YOLOv5 目录

ls ~/yolov5/

应该看到 hubconf.py、requirements.txt 等文件。

7. 安装 Python 依赖

7.1 安装 PyTorch（CPU 版本）

由于我们在虚拟机中运行，使用 CPU 版本的 PyTorch 即可：

pip3 install torch==1.10.0+cpu torchvision==0.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html --no-cache-dir

⚠️ 这个下载可能需要一些时间，请耐心等待。

如果下载速度太慢，可以使用国内镜像：pip3 install torch==1.10.0+cpu torchvision==0.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html --no-cache-dir -i https://pypi.tuna.tsinghua.edu.cn/simple

7.2 验证 PyTorch 安装

python3 -c "import torch; print('PyTorch version:', torch.__version__)"

应该输出：PyTorch version: 1.10.0+cpu

7.3 安装其他 Python 依赖

pip3 install opencv-python pandas seaborn tqdm pyquaternion ultralytics --no-cache-dir

7.4 升级 numpy

pip3 install numpy==1.23.5 --no-cache-dir

7.5 安装 networkx（兼容版本）

pip3 install networkx==3.1

7.6 验证所有依赖

python3 -c "import torch; import cv2; import pandas; print('All dependencies OK!')"

如果输出 All dependencies OK!，说明所有依赖安装成功。

8. 运行仿真

8.1 打开第一个终端 - 启动 Gazebo 世界

按 Ctrl + Alt + T 打开终端，输入：

cd ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws
source /opt/ros/noetic/setup.bash
source devel/setup.bash
roslaunch levelManager lego_world.launch paused:=false

📝 参数说明：paused:=false：启动后仿真立即运行，不暂停。如果不加这个参数，Gazebo 会处于暂停状态，需要手动点击播放按钮。

等待 Gazebo 窗口打开，你会看到：

• 一个工作台
• UR5 机械臂
• Robotiq85 夹爪
• Xbox Kinect 相机（在机械臂上方）

8.2 打开第二个终端 - 加载乐高积木

按 Ctrl + Alt + T 打开新终端，输入：

cd ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws
source /opt/ros/noetic/setup.bash
source devel/setup.bash
rosrun levelManager levelManager.py -l 4

📝 参数说明：-l 1：加载 Level 1（1 块积木）；-l 2：加载 Level 2（3 块积木）；-l 3：加载 Level 3（5 块积木）；-l 4：加载 Level 4（6 块积木，最多）。

你会看到输出：

Added 6 bricks All done. Ready to start.

此时在 Gazebo 中可以看到工作台上出现了乐高积木。

8.3 打开第三个终端 - 启动运动规划

按 Ctrl + Alt + T 打开新终端，输入：

cd ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws
source /opt/ros/noetic/setup.bash
source devel/setup.bash
rosrun motion_planning motion_planning.py

你会看到输出：

Initializing node of kinematics Waiting for action of gripper controller Waiting for detection of the models

此时机械臂在等待视觉检测结果。

等待显示 Waiting for detection of the models 后...

8.4 打开第四个终端 - 启动视觉检测

按 Ctrl + Alt + T 打开新终端，输入：

cd ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws
source /opt/ros/noetic/setup.bash
source devel/setup.bash
rosrun vision lego-vision.py

你会看到 YOLOv5 模型加载过程：

Loading model best.pt YOLOv5 🚀 ... Python-3.8.10 torch-1.10.0+cpu CPU Fusing layers... Model summary: 213 layers, 7039792 parameters, 0 gradients, 15.8 GFLOPs Adding AutoShape... Loading model orientation.pt ... Starting Node Vision 1.0 Subscribing to camera images Localization is starting.. Time: x.xxx

8.5 观察机械臂抓取过程

视觉检测完成后，回到第三个终端（motion_planning），你会看到：

Lego is facing (0, 0, 1) Angle of approaching measures -3.76 deg Moving model X1-Y2-Z2-TWINFILLET to 0.103547 -0.501132 0.8095 X1-Y2-Z2-TWINFILLET_1 TO HOME Moving to Default Position

同时在 Gazebo 窗口中，你可以看到：

1. 机械臂移动到积木上方
2. 夹爪张开
3. 机械臂下降
4. 夹爪闭合抓取积木
5. 机械臂抬起
6. 移动到目标位置
7. 夹爪张开放下积木
8. 机械臂返回初始位置

🎉 恭喜！你已经成功复现了 UR5 视觉抓取仿真！

9. 常见问题解决

问题 1：Gazebo 启动后仿真不运行

现象：Gazebo 窗口打开了，但机械臂不动，时间停止。

原因：launch 文件默认 paused:=true。

解决方法：

• 方法一：启动时添加参数 paused:=false
• 方法二：在 Gazebo 窗口底部点击播放按钮 ▶️

问题 2：catkin build 失败

现象：编译时报错。

解决方法：

cd ~/UR5-Pick-and-Place/UR5-Pick-and-Place-Simulation-main/catkin_ws
catkin clean -y
source /opt/ros/noetic/setup.bash
catkin build

问题 3：找不到 YOLOv5

现象：运行 vision 节点时报错 No module named 'ultralytics' 或找不到 yolov5。

解决方法：

确认 YOLOv5 在正确位置：

ls ~/yolov5/hubconf.py

如果文件不存在，重新下载 YOLOv5（参考第 6 节）。

问题 4：PyTorch 安装失败

现象：pip 安装 torch 时报错或被 kill。

原因：虚拟机内存不足。

解决方法：

1. 增加虚拟机内存到至少 4GB
2. 使用 --no-cache-dir 参数减少内存占用
3. 关闭其他程序释放内存

问题 5：相机话题没有数据

现象：vision 节点一直等待，不输出检测结果。

解决方法：检查仿真是否在运行：

rostopic echo /clock -n 3

如果没有输出，说明仿真暂停了，需要在 Gazebo 中点击播放按钮。

问题 6：libp11-kit.so.0: undefined symbol: ffi_type_pointer

现象：在 Conda 环境下运行时报错。

解决方法：不要在 Conda 环境中运行，使用系统 Python：

conda deactivate

📚 参考链接

• 项目 GitHub：https://github.com/pietrolechthaler/UR5-Pick-and-Place-Simulation
• ROS Noetic 安装：http://wiki.ros.org/noetic/Installation/Ubuntu
• YOLOv5：https://github.com/ultralytics/yolov5
• catkin_tools：https://catkin-tools.readthedocs.io/

🎯 总结

本教程完整介绍了如何在 Ubuntu 20.04 + ROS Noetic 环境下复现 UR5 机械臂视觉抓取仿真项目。

主要步骤：

1. 安装必要的 ROS 包和工具
2. 下载并编译项目源码
3. 安装 YOLOv5 和 Python 依赖
4. 按顺序启动 4 个节点完成仿真

启动顺序（重要）：

# 1. 启动世界
roslaunch levelManager lego_world.launch paused:=false
# 2. 加载积木
rosrun levelManager levelManager.py -l 1
# 3. 启动运动规划
rosrun motion_planning motion_planning.py
# 4. 启动视觉检测
rosrun vision lego-vision.py