【AirSim】图像API的使用

博客地址：https://www.cnblogs.com/zylyehuo/

参考链接： 【AirSim】

具体效果可以关注博主的小红书: 42891122102，上面有效果视频

一、基本信息与AirSim图像API的简单demo

Image API.py

1. import airsim
2. import numpy as np
3. import cv2
5. # 连接到AirSim模拟器
6. client = airsim.MultirotorClient()
7. client.confirmConnection()
8. # 一次获取一张图片
9. # response = client.simGetImage(camera_name, image_type, vehicle_name='')
11. # 无人机摄像头编号及含义(camera_name)
12. '''
13. 摄像机0：无人机的前方视角
14. 摄像机1：无人机的后方视角
15. 摄像机2：无人机的底部视角，可以用于检测地面和障碍物
16. 摄像机3：无人机的顶部视角，可以用于拍摄俯视图或进行目标跟踪
17. 摄像机4：无人机的左侧视角
18. 摄像机5：无人机的右侧视角
19. '''
21. # 使用图像API能够获取到的8种图像类型
22. '''
23. Scene：场景视图图片，即俯视图，可以看到整个场景的情况。                                   airsim.ImageType.Scene
24. DepthPlanar：平面深度图片，可以获取场景中每个像素点到相机的距离。                          airsim.ImageType.DepthPlanar
25. DepthPerspective：透视深度图片，可以获取场景中每个像素点到相机的距离。                     airsim.ImageType.DepthPerspective
26. DepthVis：深度可视化图片，可以将深度图像转换为RGB图像，方便观察。                          airsim.ImageType.DepthVis
27. DisparityNormalized：视差归一化图片，可以获取场景中每个像素点的视差值，用于计算深度信息。     airsim.ImageType.DisparityNormalized
28. Segmentation：分割图片，可以将场景中的不同物体或区域分别标记出来，方便进行目标检测和分割。      airsim.ImageType.Segmentation
29. SurfaceNormals：表面法线图片，可以获取场景中每个像素点的法线方向，用于计算光照和阴影效果。      airsim.ImageType.SurfaceNormals
30. Infrared：红外线图片，可以获取场景中的红外线图像，用于热成像和红外线探测等应用。               airsim.ImageType.Infrared
31. '''
32. # 1.直接使用simGetImage获取PNG格式的彩色图，并保存成 .png 格式的图片文件。
33. # response = client.simGetImage('0', airsim.ImageType.Scene, vehicle_name='Drone')
34. # f = open('screen/scene.png', 'wb')
35. # f.write(response)
36. # f.close()
38. # 2.使用 simGetImages 获取PNG格式的分割图，并保存成 .png 格式的图片文件。
39. # responses = client.simGetImages(
40. #     [airsim.ImageRequest(0, airsim.ImageType.Segmentation, pixels_as_float=False, compress=True)])
41. # f = open('screen/seg.png', 'wb')
42. # f.write(responses[0].image_data_uint8)
43. # f.close()
44. '''
45. 图像类型           compress            pixels_as_float                   适合保存的图片类型
46. PNG格式            True                   False                      彩色图、分割图、表面法线图、红外图
47. Array格式          False                  False                      彩色图、分割图、表面法线图、红外图
48. 浮点型格式          False                  True                              深度图
49. '''
51. # 3.使用 simGetImages 同时获取PNG格式的红外图和表面法线图，并保存成2个.png格式的图片文件。
52. # responses = client.simGetImages(
53. #     [airsim.ImageRequest(0, airsim.ImageType.Infrared, pixels_as_float=False, compress=True),
54. #      airsim.ImageRequest(0, airsim.ImageType.SurfaceNormals, pixels_as_float=False, compress=True)])
55. # # print(responses)
56. # # 保存红外图
57. # f = open('screen/infrared.png', 'wb')
58. # f.write(responses[0].image_data_uint8)
59. # f.close()
60. # # 保存表面法线图
61. # f = open('screen/surface.png', 'wb')
62. # f.write(responses[1].image_data_uint8)
63. # f.close()
65. # 4.保存Array格式图像
66. # # 读取图像数据，array格式
67. # responses = client.simGetImages([
68. #     airsim.ImageRequest(0, airsim.ImageType.Scene, pixels_as_float=False, compress=False)])
69. # # 将bytes格式转换为 array格式 fromstring
70. # img_1d = np.frombuffer(responses[0].image_data_uint8, dtype=np.uint8)
71. # img_bgr = img_1d.reshape(responses[0].height, responses[0].width, 3)
72. # # 保存为图片文件
73. # cv2.imwrite('screen/scene2.png', img_bgr)  # 保存为.png格式的图像文件
74. # cv2.imwrite('screen/scene2.jpg', img_bgr)  # 保存为.jpg格式的图像文件
75. # cv2.imwrite('screen/scene2.tif', img_bgr)  # 保存为.tif格式的图像文件
76. # cv2.imwrite('screen/scene2.bmp', img_bgr)  # 保存为.bmp格式的图像文件
77. '''
78. .jpg 格式：不带透明通道的有损压缩格式，广泛应用于互联网和数码相机领域；
79. .png 格式：便携式网络图形，无损压缩的位图，有较高的压缩比；
80. .tif 格式：非失真的压缩格式，占用空间较大，通常用于书籍和海报等教专业的领域；
81. .bmp 格式：是Windows操作系统中的标准图像文件格式，通常不压缩，文件所占空间较大。
82. '''

复制代码

二、随机设置无人机位姿并获取图像

random_pictures_get_and_save_pose.py

1. import airsim
2. import os
3. import numpy as np
4. import pandas as pd
6. # 连接到AirSim模拟器
7. client = airsim.MultirotorClient()
8. client.confirmConnection()
10. # 获取图像路径
11. folder_path = "screen2"
13. # 保存位姿信息的空DataFrame
14. poses_df = pd.DataFrame(columns=['index', 'x', 'y', 'z', 'yaw', 'pitch', 'roll'])
16. # 设置随机采样的范围和数量
17. num_samples = 50  # 需要采样的数量
18. x_min, x_max, y_min, y_max, z_min, z_max = -4, 4, -4, 4, -5, -2  # 位置范围
19. yaw_min, yaw_max, pitch_min, pitch_max, roll_min, roll_max = -90, 90, -45, 45, -45, 45  # 姿态范围
21. # 相机列表
22. camera_list = ["0", "1", "2", "3", "4"]
24. # 随机采样并保存图像和位姿信息
25. poses_list = []
26. for i in range(num_samples):
27.     # 随机生成目标位置，并设置姿态朝向
28.     x = np.random.uniform(x_min, x_max)
29.     y = np.random.uniform(y_min, y_max)
30.     z = np.random.uniform(z_min, z_max)
31.     yaw = np.random.uniform(yaw_min, yaw_max)
32.     pitch = np.random.uniform(pitch_min, pitch_max)
33.     roll = np.random.uniform(roll_min, roll_max)
34.     pose = airsim.Pose(airsim.Vector3r(x, y, z), airsim.to_quaternion(pitch, roll, yaw))
35.     poses_list.append({'index': i, 'x': x, 'y': y, 'z': z, 'yaw': yaw, 'pitch': pitch, 'roll': roll})
36.     # 移动到目标位置
37.     client.simSetVehiclePose(pose, True)
39.     # # 获取相机图像
40.     # responses = client.simGetImages([airsim.ImageRequest("1", airsim.ImageType.Scene, False, False)])
41.     # img_raw = responses[0]
43.     # 遍历相机列表，获取每个相机的图像
44.     for j, camera_name in enumerate(camera_list):
45.         # 获取相机图像
46.         responses = client.simGetImages([airsim.ImageRequest(camera_name, airsim.ImageType.Scene, False, False)])
47.         img_raw = responses[0]
49.         # 将字节流转换为PIL的Image对象
50.         img1d = np.frombuffer(img_raw.image_data_uint8, dtype=np.uint8)
51.         img_rgb = img1d.reshape(img_raw.height, img_raw.width, 3)
53.         # 保存PNG格式的图像
54.         img_filename = "pose_{0}_x_{1:.2f}_y_{2:.2f}_z_{3:.2f}_yaw_{4:.2f}_pitch_{5:.2f}_roll_{6:.2f}_camera_{4}.png".format(i, x, y, z, yaw, pitch, roll, j)
55.         img_filepath = os.path.join(folder_path, img_filename)
56.         airsim.write_png(os.path.normpath(img_filepath), img_rgb)
58. print("全部图像和位姿信息均已保存到文件夹：", folder_path)
60. # 将位姿信息保存到csv文件中
61. poses_df = pd.DataFrame(poses_list)
62. poses_df.to_csv(os.path.join(folder_path, 'poses.csv'), index=False)
63. '''
64. airsim.Vector3r函数用于创建一个三维向量，表示无人机在三个轴上的位置信息。
65. airsim.to_quaternion函数则用于将欧拉角（即pitch、roll、yaw）转换为四元数，表示无人机的姿态信息。
67. 四元数是一种数学工具，用于描述三维空间中的旋转。它是由一个实部和三个虚部组成的，通常表示为q = a + bi + cj + dk，
68. 其中a是实部，b、c、d是虚部，i、j、$k$是虚数单位。四元数可以用来表示旋转的方向和角度，它比欧拉角更加稳定和准确，避免了万向锁等问题。
69. 在机器人、计算机图形学和游戏开发等领域中，四元数被广泛应用。在AirSim中，四元数用于表示无人机的姿态信息。
71. 万向锁是一种旋转表示中常见的问题，它发生在使用欧拉角进行旋转时，当旋转角度过大或旋转轴与旋转顺序不当时，就会出现万向锁问题。
72. 万向锁的表现形式是旋转轴和旋转角度不能被唯一确定，即旋转自由度丧失。这会导致旋转结果不可预测，甚至无法进行旋转。
73. 为了避免万向锁问题，可以使用四元数等其他旋转表示方法。在AirSim中，使用欧拉角进行旋转时，也可能会出现万向锁问题，因此建议使用四元数进行姿态表示。
74. '''

复制代码

三、利用保存好的位姿csv文件截取图像

get_pictures_with_poses_from_csv.py

1. import airsim
2. import os
3. import csv
4. import numpy as np
7. client = airsim.MultirotorClient()
8. client.confirmConnection()
10. # 设置相机和文件路径
11. camera_list = ["0", "1", "2", "3", "4"]
12. folder_path = "/home/yehuo/python_learning/AirSim_learning/screen3"
14. # 读取位姿信息文件（csv格式）
15. poses_csv_file = open("/home/yehuo/python_learning/AirSim_learning/screen2/poses.csv", "r")
16. pos_reader = csv.DictReader(poses_csv_file)
18. # 循环采样并保存图像和位姿信息
19. for i, row in enumerate(pos_reader):
20.     # 获取姿态信息
21.     x, y, z = float(row['x']), float(row['y']), float(row['z'])
22.     yaw, pitch, roll = float(row['yaw']), float(row['pitch']), float(row['roll'])
23.     pose = airsim.Pose(airsim.Vector3r(x, y, z), airsim.to_quaternion(pitch, roll, yaw))
25.     # 移动到目标位置
26.     client.simSetVehiclePose(pose, True)
28.     # 遍历相机列表，获取每个相机的图像
29.     for j, camera_name in enumerate(camera_list):
30.         responses = client.simGetImages([airsim.ImageRequest(camera_name, airsim.ImageType.Scene, False, False)])
31.         img_raw = responses[0]
33.         # 将字节流转换为PIL的Image对象
34.         img1d = np.frombuffer(img_raw.image_data_uint8, dtype=np.uint8)
35.         img_rgb = img1d.reshape(img_raw.height, img_raw.width, 3)
37.         # 保存PNG格式的图像
38.         img_filename = "pose_{0}_x_{1:.2f}_y_{2:.2f}_z_{3:.2f}_yaw_{4:.2f}_pitch_{5:.2f}_roll_{6:.2f}_camera_{7}.png".format(i, x, y, z, yaw, pitch, roll, j)
39.         img_filepath = os.path.join(folder_path, img_filename)
40.         airsim.write_png(os.path.normpath(img_filepath), img_rgb)
42. print("图像和位姿信息均已保存到文件夹：", folder_path)

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

感谢，下载保存了