一种基于视觉识别的无人机导航算法
- 来源:中国高新科技 smarty:if $article.tag?>
- 关键字:视觉识别,无人机,无人机导航算法 smarty:/if?>
- 发布时间:2021-05-23 15:42
摘要:近年来,随着无人机与数码相机技术的发展,无人机航测以其高效、精确、作业成本低和适用范围广等特点,在地表复杂地区高分辨率影像的获取方面优势明显。但无人机像片的后续处理需要布设大量像控点,工作量大且耗时耗力,特别是在地表复杂地区工作难度更大。如果采用精准定位的手段计算出拍照瞬间照片中心的精确位置和姿态,则可以节省大量施工投入,有效提高生产效率。
1 无人机飞行中空间位置的分析和识别
本文给出了一种基于视觉信息的无人机飞行空间位置实时计算方法,属于数字视频图像处理技术领域。该方法主要依据航拍图像信息和高程信息,融合无人机飞行参数信息,对无人机空中位置给出分析和识别。利用无人机航拍图像,结合无人机高程信息等飞行参数,对图像进行校正,与先验信息对比分析,由航拍图像反算出无人机当前位置信息。针对无人机特点,充分利用视觉信息,提高了无人机的自主性。
2 基于视觉信息的无人机飞行中空间位置实时计算方法
(1)建立无人机飞行航线的地貌数据库。根据无人机预先设定的规划航线,选取无人机航线上的航点,获取航点的地标图像信息,计算航点的SIFT点特征、Harris角点特征、纹理特征和Hough直线特征,将上述特征以及地标图像的位置信息,存入地貌数据库。
(2)无人机在航线飞行中,进行航点检测。无人机飞行中,实时检测航线的航点,将检测到的航点与地貌数据库中已存航点进行匹配,若匹配成功则进行步骤(3);否则继续进行下一个航点检测,执行步骤(2)。
(3)航点数据采集。对匹配成功的航点,利用机载CCD摄像机采集数据,数据包括高清航拍图像及无人机航拍参数,无人机航拍参数包括无人机高度H,航向角α、俯仰角β、横滚角Υ以及CCD摄像机平台角H,方位角λ。
(4)数据匹配。对采集到的数据与地貌数据库分别进行库匹配,访问地貌数据库,提取当前位置的地貌图像数据,利用图像特征进行特征点检测与匹配,计算得到匹配特征点数N。
(5)获取无人机位置信息。完成图像匹配后,根据航拍图像先验信息,反算无人机经纬度信息,最终完成工作。
3 无人机航线采集
(1)获取无人机航线的航点。根据无人机预先设定的规划航线,选取无人机航线上的航点,航点选取建筑物地标,利用多载荷设备采集航点的信息,获取航点的地标图像信息。
(2)计算特征。根据步骤(1)得到航点的地标图像信息,计算航点的SIFT点特征、Harris角点特征、纹理特征和Hough直线特征。
(3)获取地貌数据库。将步骤(1)和(2)采集计算得到
SIFT点特征、Harris角点特征、纹理特征、Hough直线特征以及地标图像的位置信息,存入到地貌数据库,完成地貌数据库的建立;地标图像的位置信息包括航点图名称、图像尺寸和中心坐标。
4 无人机航点匹配
(1)航点检测。当无人机飞行到一个航点时,采用Harris角点检测方法,获取该航点的Harris角点特征。
(2)航点匹配。将获取的航点的Harris角点特征,与地貌数据库中存储的航点的Harris角点特征进行匹配,若匹配成功则进行步骤(3),否则继续进行下一个航点检测,执行步骤(2)。
5 无人机图像处理
(1)航拍图像预处理。对航拍图像进行预处理,包括中值滤波去噪、灰度增强,并计算航拍图像数据的SIFT点特征、Harris角点特征和Hough直线特征。
(2)访问地貌数据库。访问地貌数据库,根据航点匹配结果,提取当前航点位置的地貌图像数据,包括SIFT点特征、Harris角点特征及Hough直线特征。
(3)图像信息匹配。通过上述2个步骤,得到航点的航拍图像与地貌数据库中地标图像的特征,选取特征进行匹配,得到匹配特征点数N,如果N大于预设阈值,则匹配成功,进入步骤(5),否则匹配失败,返回步骤(2)。
6 无人机YOLO算法
YOLO算法利用深度神经网络进行对象的位置检测与分类,主要的特点是速度够快且准确率高,采用直接预测目标对象的边界框的方法,将候选区和对象识别这2个阶段合二为一,与faster rcnn区分开来,是一刀流的检测方法。YOLO算法是直接将原始图片分割成互不重合的小方块,然后通过卷积,最后生产这样大小的特征图。基于上面的分析,可以认为特征图的每个元素对应着原始图片的一个小方块,用每个元素可以预测那些中心点在该小方格内的目标,这就是YOLO算法的朴素思想。
实际操作分为7×7个小格子,每个格子预测2个Bounding box。如果一个目标的中心落入一个网格单元中,该网格单元负责检测该目标。对每一个切割的小单元格预测(置信度,边界框的位置),每个Bounding box需要4个数值来表示其位置,(Center_x,Center_y,width,height)即Bounding box的中心点的x坐标,y坐标Bounding box的宽度,高度置信度定义为该区域内是否包含物体的概率。打标签时,正样本(与真实物体有最大IOU的边框设为正样本)置信度真值为1,负样本为0。需要得到分类的概率结果,20个分类每个类别的概率。7×7×30中的30=(20类概率+2×5(置信度,边框位置))。
YOLO采用单个的卷积神经网络进行预测,YOLO的整个结构就是输入图片经过神经网络的变换得到一个输出的张量。步骤如下:将输入图像调整为448×448,在图像上运行单个卷积网络以及由模型的置信度对所得到的检测进行阈值处理。
首先,YOLO速度非常快。由于将检测视为回归问题,因此不需要复杂的流程,测试时在一张新图像上简单运行神经网络即可。其次,YOLO在进行预测时,会对图像进行全面推理。与基于滑动窗口和区域提出的技术不同,YOLO在训练期间和测试时会看到整个图像,所以进行了隐式编码。快速R-CNN是一种顶级的检测方法,但是它看不到更多的上下文信息,所以在图像中会将背景块误检为目标。与快速R-CNN相比,YOLO的背景误检数量少了一半。最后,由于YOLO具有高度泛化能力,因此在应用到新领域或碰到意外输入时,出现故障的概率极低。
受到GoogLeNet图像分类模型的启发,使用卷积结构。网络有24个卷积层,后面是2个全连接层,最后输出层用线性函数做激活函数,其他层激活函数都是Leaky ReLU。只使用1×1降维层,后面是3×3卷积层,YOLO在ImageNet分类任务上以一半的分辨率(224×224的输入图像)预训练卷积层,然后将分辨率加倍来进行检测。训练中采用了Drop out和数据增强(Data Augmentation)来防止过拟合。
7 结语
本文实现了无人机位置信息解算,从整体方案设计到具体实现都给出了较为详细的过程。从实验结果可以看出,基于计算机视觉引导的方法可以很好地应用于小型无人机位置信息解算中,并且充分验证了整个系统的可行性,为一种基于机器视觉的无人机导航算法的实现提供了一种有效的解决方案。
作者简介:唐顺(1985-),男,湖南衡阳人,中南大学信息科学与技术学院智能控制实验室助理工程师,研究方向:无人机飞行与控制技术。
参考文献
[1]许衍,李雄风. 小型无人机着陆阶段视觉导航算法的验证 [J]. 电子设计工程,2020,28(20):8-13.
[2]王民钢,孙传新. 基于图像匹配的飞行器导航定位算法及仿真 [J]. 计算机仿真,2012,29(5):86-89.
(责任编辑:张闪闪)
