核辐射环境下图像特征点提取方法
发布时间:2021-09-23
摘要准确、稳定的图像特征点提取是图像拼接、三维重建、以及基于特征点的视觉SLAM(simultaneouslocalizationandmapping)等计算机视觉应用的前提。核辐射环境下采集的图像存在噪点量多、噪声块较大、传统的特征点提取方法存在容易将噪声判定为特征点的问题。基于某辐照厂卡源故障采集的受γ射线影响的图像噪声特点,提出一种抗核噪特征点(AgainstNuclearFeature,ANF)提取算法。首先,分析核辐射下图像的每个像素点的RGB特性以及灰度特征,获取可能为噪点的像素;然后通过传统算法提取特征点;最后采用特征点与可能噪点的欧式距离大小进行排序筛选特征点,剔除较大可能性为噪点的特征点。通过在标准图像数据集合成的噪声以及真实核辐照环境下拍摄图像的实验表明ANF提取方法相对于传统的FAST和BRISK特征点提取方式具有更好的稳定性,降低匹配错误率。
关键词核辐射环境;噪声;特征点提取;特征点筛选
1引言
随着核能发电、辐照等产业的推广应用以及核设施退役、核废处理处置工作的广泛开展,发生核泄漏、核素扩散、强放射源丢失等核安全事故的风险增加。受核环境强电离辐射、毒性、污染等方面的限制,工作人员无法直接进入事故现场进行工作。此时,通过移动机器人完成核辐射环境的侦察以及场景三维重建、SLAM等已成为事故处理的首要任务。而准确、稳定的视觉特征点提取是场景三维重建的关键技术。
视觉特征点提取研究已有较长时间,代表性的算法是SIFT特征点与描述符[1],其对图像的尺度变化、光照变化、旋转、都具有很好的重复性与鲁棒性,然而SIFT需要较大的计算成本,实时性低。在特征点提取加速研究中,SURF[2]是较为有效的方法,但是其依然难以在计算能力较低的嵌入式设备中做到实时处理。近些年出现结合传统方式与学习方式的算法如Key.Net[3],其利用手工特征作为参考进行学习,对可重复的特征进行定位,排序、评分并在尺度空间上进行特征点的提取,结果表明其性能优于传统的算法。随着神经网络技术的发展,深度学习技术也开始被用于特征点提取,其中,SuperPoint[4]基于自监督的方式,利用HA(HomographicAdaptation)策略在合成的数据上进行训练后,可以在真实场景下提取更加丰富的特征点。然而,上述算法虽然可以在通用计算平台进行实时提取,但是存在整体计算量较大的问题,难以在计算资源有限的条件如核辐射环境下的移动机器人平台达到实时性。
为了应对计算资源有限条件下特征点提取的问题,研究者提出许多具有较好实时性的特征点提取算法。其中,FAST(FeaturesfromAcceleratedSegmentTest)[5]是一个运用广泛的实时性特征点提取算法。相比于前文提到的SIFT等特征点提取算法,FAST特征提取算法通过比较中心像素与周围像素的灰度大小来判断是否为特征点。许多的快速特征点检测算法也是在其基础上进行的改进。AGAST[6]通过改进决策树的配置空间与树的选择策略提高了特征点检测的适用性。BRISK[7]通过构建尺度空间的特征点检测具有尺度不变性。ORB特征[8]通过构建高斯尺度金字塔与特征点周围灰度重心使特征点具有了旋转不变性与一定的尺度不变性。FAST以及ORB特征点在实时性要求较高的视觉SLAM系统如VINS_mono[9]、ORB_SLAM3[10]以及许广富提出融合光流法和特征匹配的视觉里程计系统[11]中得到了应用。同时在图像拼接应用中刘天赐等人[12]提出基于ORB特征的高分辨率图像拼接改进算法取得不错的效果。然而在核辐射环境下获取的图像,其噪声呈类似椒盐噪声分布且噪声块面积较大噪声强度较大的特点。应用此类算法,其特征点提效果不佳。
针对核环境的图像特征点提取方法,常规思路为先对核辐射环境图像进行去噪处理,然后应用FAST等快速提取算法。针对核辐射图像去噪处理方法,张梁燕[13]通过实验得出图像在空间上呈随机分布,而且噪声在灰度上的分布也是随机的不存在明显的分布规律,不能按照椒盐噪声、高斯噪声以及瑞利噪声的定义进行简单分类。王姮[14]利用改进的自适应中值滤波与自动阈值小波变换相结合的方式相比中值滤波更好地保留了边缘减少了模糊。张凯[15]提出一种新的前馈降噪卷积神经网络(DnCNNs),利用残差学习与批量归一化来加速训练过程以及提高了去噪性能,同时也可以处理未知噪声水平下的高斯噪声。然而基于深度学习的方式降噪的效果依赖于标注良好的训练集,且存在计算量大,难以在计算资源有限的条件如核辐射环境下的移动机器人平台进行实时处理。
鉴于进行复杂降噪算法处理以及各种特征点提取算法在核辐照环境下进行实时定位与建图的局限性。我们提出利用噪声特征对特征点进行筛选的抗核噪特征点(ANF)提取算法。通过直接筛选而非降噪后进行特征点提取的方式进行特征点提取,可降低计算的复杂度且避免较大卷积操作对图像的模糊效果。本文的主要内容为以下三个方面:
1.对核辐射高能粒子对相机成像影响以及实际核辐射环境下的图片进行分析获得其在RGB通道上的特征;
2.根据核辐射噪声特征的先验知识筛选传统特征点算法中提取的噪声特征点提出ANF提取算法。
3.实现描述子算法与匹配算法以验证相同的描述子以及匹配算法下ANF相比于传统方式的匹配效果。
为了验证ANF提取算法的有效性,我们进行了如下实验:在合成的模拟核辐照噪声图像中比较不同的特征点提取方式提取的特征点中为噪声点的比例,并比较不同特征点提取算法在不同核噪声强度图像的特征点的匹配正确率。最后在真实核辐照环境中图像噪点的筛选情况。
2基本原理
2.1核辐射环境图像噪声RGB特征
有效分析核辐射环境图像噪声特征可以帮助特征点的筛选。我们获取某辐照厂卡源事故中相机采集的受γ射线影响的噪声图像如图1所示。通过直接观察容易发现噪声块呈现高亮的亮斑,中心区域类似盐噪声分布,且噪点周围呈蓝色或者红色或绿色,亮斑的大小以及位置随机分布。通过对噪声块的像素值进行分析,我们得出以下结论:在彩色RGB图像中受噪声污染的区域会在某一个通道其灰度值远远大于周围像素点的相同通道灰度值,而其他通道颜色通道与周围像素点的值基本保持一致。图1中受影响的像素点蓝色通道强度值倾向于远大于自身以及周围像素点的蓝色通道的强度值,同时也会大于红色与绿色通道的强度值使得该污染像素块呈高亮的蓝色斑点状。当红色通道与绿色通道被高能粒子影响时则分别呈现高亮的红色与绿色斑点状噪声,其中典型的噪声我们通过红色圆圈在图1中进行标识。噪声斑点块颜色主要以蓝色为主、其次为绿色、红色最少。经分析,呈现此类分布的原因为辐照高能射线属于高频电磁信号,可见光中蓝光属于相对于其它可见光属于高频电磁波所以相关蓝光感光元件影响较大,而红色、绿色感光元件对高频的电磁信号没有蓝光感光元件敏感。
相关期刊推荐:《应用激光》1981年创刊,刊登激光技术在我国工业、农业、科研、医学等领域的应用文章,深受广大读者欢迎。设有:论文报告综合评述专题介绍应用报道简讯激光产品介绍激光医学专栏等栏目。
手动选取五个噪点块后对各个通道的强度值分析统计如图2所示。图2横坐标表示每一个噪点像素,纵坐标表示其强度值。上图具有五个峰表示五个噪声块,每个噪声块每一个通道都会形成一个峰,但是蓝色通道的值会远大于其他的通道。从图中可以看出蓝色噪声块中蓝色通道值是大于其他通道,且中心像素的强度值最大。基于核辐射图像噪声RGB三个通道的此类特点,可以对特征点进行筛选来过滤噪点,减少噪声对特征点的影响。同时我们根据它的特征合成噪点,并对特征点提取效果进行定量的评价。
3分析与讨论
3.1真实核辐射场景特征点提取
我们基于如图1所示的真实卡源事件拍摄的核辐照环境原始视频获取的图像进行特征点提取。如2节基本原理所描述提取过程中需要通过设定阈值检测图像中的噪点进行特征点提取。ANF提取中rmax阈值选择为三个通道中灰度比值最大的比值。图4所示为不同的rmax阈值的提取效果。其中图a,b,c,d的阈值为分别为0.4,0.5,0.6,0.7其提取的噪点数目依次减少。当该阈值rmax设定为较大的值会检测到更少的噪点从而提高检测的准确率但是会降低召回率,当该值较小时会提取到更少的噪点提高检测的召回率但是会降低检测的准确率。我们通过实验发现当阈值rmax=0.5左右时可以取得较好的效果。
ANF特征点提取算法通过噪点位置检测后进行自适应中值滤波,FAST检测以及特征点筛选,详细过程在基本原理部分进行了阐述。图5为真实核辐照环境下特征点的筛选过程。其中图a为FAST检测结果,图b,c,d为进行筛选后的最终结果。图b中特征点提取的数目设置为50即选取响应值前100个的特征点中里噪点距离最远的50个特征点,图c为100,图d为150。对比筛选前后,图中可以发现在右上角区域伪特征点的数目减少,提取的伪特征点没有随着特征点提取数目增加而增加故ANF算法有一定的稳定性。算法经过特征点筛选后提取的特征点数目减少可能会降低算法在低纹理区域的表现。
我们对原始FAST、以及本文提出的ANF算法提取特征点进行比较验证改进效果。上述算法运行环境为matlab2018a,提取特征点的个数保持相同,为100个,进行处理的结果图6所示,其中提取的特征点位置用白色圆圈进行标注。从左到右依次为原始FAST算法,以及本文提出的ANF算法的提取结果。图(a)、(b)、(c)为不同算法在真实场景视频中不同图像的提取结果。
从图中可知,在图像的右上部分区域为纹理较少的区域,理论上能够提取的特征点应该比较少,但是由于核辐射的影响会出现较大的噪点块,导致在该区域进行特征点提取时被误认为特征点。ANF算法提取的特征点最少,结果最为稳定。
最后为比较ANF算法的实时性,我们计算提取特征点数目设置为50,100,150的多张图像算法的提取平均时间。算法运行环境为matlab2018a,分别比较了matlab中实现的FAST、BRISK、KAZE算法。我们以实时性最好的FAST算法作为参考比较提取运行相对时间。三种算法的时间比较接近,其中ANF的时间最短为FAST提取时间5-6倍结果如表1所示。
3.2特征点提取拒绝率
在利用提取的特征点估计相机位姿时,常常使用RANSAC[17]算法以提高鲁棒性。RANSAC算法相比直接进行最小二乘法具有更好的效果特别是外点的距离的较大时。但是其对于外点数目有大依赖,外点的数目越多迭代计算所需的时间越多且结果较差。在特征点提取部分提取的噪声像素点并不是真实特征点,在匹配过后为外点。在提取特征点中包含噪声像素的数目影响了RANSAC算法的稳定性。——论文作者:张文凯1,2,徐锋1,2*,李瑾1,2